![[ChatStream] Web API エンドポイントの実装](https://images.unsplash.com/photo-1522881451255-f59ad836fdfb?crop=entropy&cs=tinysrgb&fit=max&fm=jpg&ixid=M3wxMTc3M3wwfDF8c2VhcmNofDl8fHdyaXRpbmd8ZW58MHx8fHwxNzEyODI1NzY4fDA&ixlib=rb-4.0.3&q=80&w=600)
ChatStream Guide
こんにちは！ (株)Qualiteg プロダクト開発部 です！ 本稿では、 ChatStream を FastAPI の Web API として実装する方法についてご説明いたします！ エンドポイントの実装 /chat_stream という URL パスに、ストリーミングチャット用のWebエンドポイントをつくるには 以下のように handle_chat_stream_request を呼び出します。 これだけで、ユーザーからのリクエストは 文章生成の同時実行数を制御したストリーミングチャットの実装は完了です @app.post("/chat_stream") async def stream_api(request: Request): # handling FastAPI/Starlette's Request response = await chat_
![[ChatStream] 生成と初期化](https://images.unsplash.com/photo-1609111036741-e9cd2a8e7a9f?crop=entropy&cs=tinysrgb&fit=max&fm=jpg&ixid=M3wxMTc3M3wwfDF8c2VhcmNofDE3fHxzdGFydHxlbnwwfHx8fDE3MTI4MjUzMjV8MA&ixlib=rb-4.0.3&q=80&w=600)
ChatStream Guide
こんにちは (株)Qualiteg プロダクト開発本部です！ 本稿では、 ChatStream の生成と初期化についてご説明いたします！ ChatStream クラスは ChatStream パッケージのコアとなるクラスで、FastAPI/Starlette の Request を受け取り、 負荷制御をしながらストリーミングレスポンスをクライアントに送出する役割をもっています。 以下のように model,tokenizer,device, 最大同時処理数 num_of_concurrent_executions 、待ち行列の最大数 max_queue_size ,プロンプトクラス ChatPrompt を指定して初期化します tokenizer = AutoTokenizer.from_pretrained(model_path) model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.float16) model.
![[ChatStream] HTTP セッションミドルウェアの設定](https://images.unsplash.com/photo-1586726370832-3440a511e479?crop=entropy&cs=tinysrgb&fit=max&fm=jpg&ixid=M3wxMTc3M3wwfDF8c2VhcmNofDd8fGhhbmRzfGVufDB8fHx8MTcxMjgyMTYwNXww&ixlib=rb-4.0.3&q=80&w=600)
ChatStream Guide
こんにちは！ (株)Qualiteg プロダクト開発部 です！ 本稿では、 ChatStream に セッションミドルウェアをセットし、Webアプリケーションをステートフルにする方法についてご説明いたします！ ChatStream では Qualiteg が開発した独自のセッションミドルウェアを使用しており、通常の Starlette 用のセッションミドルウェアよりも高い柔軟性を実現しています。（Java Servlet のセッション管理アプローチに近いです) セッションミドルウェア 開いたブラウザでWebチャットをするときにマルチラウンドの会話を成立するためには ChatPrompt（会話履歴） が複数ターンの会話のなかで更新されていく必要があります。 デフォルトでは、 ChatStream は HTTP セッションを使用してWebアプリケーションをステートフルにし、 ChatPrompt をブラウザが開いている間保持することができます。 HTTP セッションを使用するには、以下のように FastAPI のミドルウェアを登録します。 from fas
![[ChatSream] モデルをロードする方法](https://images.unsplash.com/photo-1607434472257-d9f8e57a643d?crop=entropy&cs=tinysrgb&fit=max&fm=jpg&ixid=M3wxMTc3M3wwfDF8c2VhcmNofDF8fGxvYWRpbmd8ZW58MHx8fHwxNzEyODIwODYyfDA&ixlib=rb-4.0.3&q=80&w=600)
ChatStream Guide
こんにちは！ (株)Qualiteg プロダクト開発部 です！ 本稿では、 ChatStream に HuggingFaceモデルを読み込むときのアプローチについてご説明いたします HuggingFace モデルのロード モデルごとに指定された方法で HuggingFace モデルを読み込みます。 model_path = "togethercomputer/RedPajama-INCITE-Chat-3B-v1" device = "cuda" # "cuda" / "cpu" tokenizer = AutoTokenizer.from_pretrained(model_path) model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.float16) model.to(device) こちらは、
![[ChatStream] ChatPrompt の実装](https://images.unsplash.com/photo-1600267185393-e158a98703de?crop=entropy&cs=tinysrgb&fit=max&fm=jpg&ixid=M3wxMTc3M3wwfDF8c2VhcmNofDl8fHByb21wdHxlbnwwfHx8fDE3MTI4MjAzODV8MA&ixlib=rb-4.0.3&q=80&w=600)
ChatStream Guide
ChatPrompt とは こんにちは！ (株)Qualiteg プロダクト開発部 です！ 本稿では、 ChatPrompt の具体的な実装方法をご紹介いたします！ ChatPrompt とは、事前学習済言語モデル（以降、モデル）用のプロンプトを生成するためのクラスです。プロンプトクラスと呼びます。 たとえば、 redpajama-incite の場合は以下のようなプロンプトをつくり、モデルに入力します。 <human>: Who is Alan Turing <bot>: すると、モデルは続きの文章を生成し、以下を出力します。 <human>: Who is Alan Turing <bot>: He was a very honorable man.
![[ChatStream] クイックスタート](https://images.unsplash.com/photo-1584907797015-7554cd315667?crop=entropy&cs=tinysrgb&fit=max&fm=jpg&ixid=M3wxMTc3M3wwfDF8c2VhcmNofDZ8fHN0YXJ0fGVufDB8fHx8MTcxMjc3OTg5M3ww&ixlib=rb-4.0.3&q=80&w=600)
ChatStream Guide
こんにちは！ (株)Qualiteg プロダクト開発部 です！ まだまだ暑いですね！ 早速、昨日発表しました ChatStream をつかったリアルタイムストリーミングチャットサーバーを作ってみたいと思います。 パッケージのインストール 早速 ChatStream パッケージのインストールをしていきます pip install chatstream 必要パッケージのインストール pip install torch torchvision torchaudio pip install transformers pip install "uvicorn[standard]" gunicorn ChatStream サーバーの実装 今回は RedPajamaINCITE をLLMとしてつかったストリーミングチャットサーバーを実装します。 chatstream_server.py import torch from fastapi import FastAPI, Request from fastsession
![[ChatStream] mosaicml/mpt-7b-chat用の ChatPrompt](/content/images/size/w600/2024/04/ChatPrompt--1-.png)
ChatStream Guide
本日は mosaicml/mpt-7b-chat 用の ChatPrompt をご紹介します class ChatPromptMosaicmlMptChat(AbstractChatPrompt): """ mosaicml/mpt-7b-chat """ def __init__(self): super().__init__() # Call the initialization of the base class self.set_requester("<human>") self.set_responder("<bot>") self.set_prefix_as_stop_
![[ChatStream] matsuo-lab/weblab-10b-instruction-sft用の ChatPrompt](/content/images/size/w600/2024/04/ChatPrompt.png)
ChatStream Guide
matsuo-lab/weblab-10b-instruction-sft 用の ChatPrompt クラスをリリースしました。 最新バージョンのChatStreamに取り込んでいますが、以下コードを使用することも可能です。 from chatstream import AbstractChatPrompt from chatstream.chat_prompt.prompt_ttl import PromptTTL class ChatPromptMatsuoLabJpGptNeoxInstSft(AbstractChatPrompt): def __init__(self): super().__init__() # Call the initialization of the base class self.set_system("以下は、タスクを説明する指示と、文脈のある入力の組み合わせです。要求を適切に満たす応答を書きなさい。") self.set_requester("指示") self.
News
株式会社 Qualiteg は LLMアプリケーション開発ツールキット ChatStream™ のαプレビュー版の提供を開始いたしました。 ChatStream™ とは 高品質な商用 LLM アプリケーションを簡単に構築できる Python ライブラリです。 Web フロントエンド(チャットUI) と 推論実行サーバーソフトウェア で構成されており、追加のソフトウェア開発をせずに ChatStream™ だけで LLM アプリケーションを実現することができます。 また、頭脳となる LLM には HuggingFace 等で提供されているオープンソースLLMを使用することができます。(ChatGPT等のAPIをつなぎこむことも可能です)。 2023年9月 現在は、 Pythonのライブラリ として AGPL および 商用ライセンスで提供しています。 以下サイトよりオンラインデモをご体験ください！ https://chatstream.net このデモのようなアプリケーションをほぼノーコードで作成することができます。 ChatStreamは本格的な商用用途に