(株)Qualiteg - ChatStream Guide - Qualiteg Blog (Page 2)

ChatStream Guide

[ChatStream] HTTP セッションミドルウェアの設定

こんにちは！ (株)Qualiteg プロダクト開発部です！本稿では、 ChatStream にセッションミドルウェアをセットし、Webアプリケーションをステートフルにする方法についてご説明いたします！ ChatStream では Qualiteg が開発した独自のセッションミドルウェアを使用しており、通常の Starlette 用のセッションミドルウェアよりも高い柔軟性を実現しています。（Java Servlet のセッション管理アプローチに近いです) セッションミドルウェア開いたブラウザでWebチャットをするときにマルチラウンドの会話を成立するためには ChatPrompt（会話履歴）が複数ターンの会話のなかで更新されていく必要があります。デフォルトでは、 ChatStream は HTTP セッションを使用してWebアプリケーションをステートフルにし、 ChatPrompt をブラウザが開いている間保持することができます。 HTTP セッションを使用するには、以下のように FastAPI のミドルウェアを登録します。 from fas

ChatStream Guide

[ChatSream] モデルをロードする方法

こんにちは！ (株)Qualiteg プロダクト開発部です！本稿では、 ChatStream に HuggingFaceモデルを読み込むときのアプローチについてご説明いたします HuggingFace モデルのロードモデルごとに指定された方法で HuggingFace モデルを読み込みます。 model_path = "togethercomputer/RedPajama-INCITE-Chat-3B-v1" device = "cuda" # "cuda" / "cpu" tokenizer = AutoTokenizer.from_pretrained(model_path) model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.float16) model.to(device) こちらは、

ChatStream Guide

[ChatStream] ChatPrompt の実装

ChatPrompt とはこんにちは！ (株)Qualiteg プロダクト開発部です！本稿では、 ChatPrompt の具体的な実装方法をご紹介いたします！ ChatPrompt とは、事前学習済言語モデル（以降、モデル）用のプロンプトを生成するためのクラスです。プロンプトクラスと呼びます。たとえば、 redpajama-incite の場合は以下のようなプロンプトをつくり、モデルに入力します。 <human>: Who is Alan Turing <bot>: すると、モデルは続きの文章を生成し、以下を出力します。 <human>: Who is Alan Turing <bot>: He was a very honorable man.

ChatStream Guide

[ChatStream] クイックスタート

こんにちは！ (株)Qualiteg プロダクト開発部です！まだまだ暑いですね！早速、昨日発表しました ChatStream をつかったリアルタイムストリーミングチャットサーバーを作ってみたいと思います。パッケージのインストール早速 ChatStream パッケージのインストールをしていきます pip install chatstream 必要パッケージのインストール pip install torch torchvision torchaudio pip install transformers pip install "uvicorn[standard]" gunicorn ChatStream サーバーの実装今回は RedPajamaINCITE をLLMとしてつかったストリーミングチャットサーバーを実装します。 chatstream_server.py import torch from fastapi import FastAPI, Request from fastsession

ChatStream Guide

[ChatStream] mosaicml/mpt-7b-chat用の ChatPrompt

本日は mosaicml/mpt-7b-chat 用の ChatPrompt をご紹介します class ChatPromptMosaicmlMptChat(AbstractChatPrompt): """ mosaicml/mpt-7b-chat """ def __init__(self): super().__init__() # Call the initialization of the base class self.set_requester("<human>") self.set_responder("<bot>") self.set_prefix_as_stop_

ChatStream Guide

[ChatStream] matsuo-lab/weblab-10b-instruction-sft用の ChatPrompt

matsuo-lab/weblab-10b-instruction-sft 用の ChatPrompt クラスをリリースしました。最新バージョンのChatStreamに取り込んでいますが、以下コードを使用することも可能です。 from chatstream import AbstractChatPrompt from chatstream.chat_prompt.prompt_ttl import PromptTTL class ChatPromptMatsuoLabJpGptNeoxInstSft(AbstractChatPrompt): def __init__(self): super().__init__() # Call the initialization of the base class self.set_system("以下は、タスクを説明する指示と、文脈のある入力の組み合わせです。要求を適切に満たす応答を書きなさい。") self.set_requester("指示") self.

News

ChatStream α1(プレビュー)提供のお知らせ

株式会社 Qualiteg は LLMアプリケーション開発ツールキット　ChatStream™　のαプレビュー版の提供を開始いたしました。 ChatStream™ とは高品質な商用 LLM アプリケーションを簡単に構築できる Python ライブラリです。 Web フロントエンド(チャットUI) と推論実行サーバーソフトウェアで構成されており、追加のソフトウェア開発をせずに ChatStream™　だけで LLM アプリケーションを実現することができます。また、頭脳となる LLM には HuggingFace 等で提供されているオープンソースLLMを使用することができます。(ChatGPT等のAPIをつなぎこむことも可能です)。 2023年9月現在は、 Pythonのライブラリとして AGPL および商用ライセンスで提供しています。以下サイトよりオンラインデモをご体験ください！ https://chatstream.net このデモのようなアプリケーションをほぼノーコードで作成することができます。 ChatStreamは本格的な商用用途に