(株)Qualiteg - Qualiteg プロダクト開発部

ChatStream Guide

[ChatStream] クイックスタート

こんにちは！ (株)Qualiteg プロダクト開発部です！まだまだ暑いですね！早速、昨日発表しました ChatStream をつかったリアルタイムストリーミングチャットサーバーを作ってみたいと思います。パッケージのインストール早速 ChatStream パッケージのインストールをしていきます pip install chatstream 必要パッケージのインストール pip install torch torchvision torchaudio pip install transformers pip install "uvicorn[standard]" gunicorn ChatStream サーバーの実装今回は RedPajamaINCITE をLLMとしてつかったストリーミングチャットサーバーを実装します。 chatstream_server.py import torch from fastapi import FastAPI, Request from fastsession

ChatStream Guide

[ChatStream] mosaicml/mpt-7b-chat用の ChatPrompt

本日は mosaicml/mpt-7b-chat 用の ChatPrompt をご紹介します class ChatPromptMosaicmlMptChat(AbstractChatPrompt): """ mosaicml/mpt-7b-chat """ def __init__(self): super().__init__() # Call the initialization of the base class self.set_requester("<human>") self.set_responder("<bot>") self.set_prefix_as_stop_

ChatStream Guide

[ChatStream] matsuo-lab/weblab-10b-instruction-sft用の ChatPrompt

matsuo-lab/weblab-10b-instruction-sft 用の ChatPrompt クラスをリリースしました。最新バージョンのChatStreamに取り込んでいますが、以下コードを使用することも可能です。 from chatstream import AbstractChatPrompt from chatstream.chat_prompt.prompt_ttl import PromptTTL class ChatPromptMatsuoLabJpGptNeoxInstSft(AbstractChatPrompt): def __init__(self): super().__init__() # Call the initialization of the base class self.set_system("以下は、タスクを説明する指示と、文脈のある入力の組み合わせです。要求を適切に満たす応答を書きなさい。") self.set_requester("指示") self.