ChatStream α1(プレビュー)提供のお知らせ
株式会社 Qualiteg は LLMアプリケーション開発ツールキット ChatStream™ のαプレビュー版の提供を開始いたしました。
ChatStream™ とは 高品質な商用 LLM アプリケーションを簡単に構築できる Python ライブラリです。
Web フロントエンド(チャットUI) と 推論実行サーバーソフトウェア で構成されており、追加のソフトウェア開発をせずに ChatStream™ だけで LLM アプリケーションを実現することができます。
また、頭脳となる LLM には HuggingFace 等で提供されているオープンソースLLMを使用することができます。(ChatGPT等のAPIをつなぎこむことも可能です)。
2023年9月 現在は、 Pythonのライブラリ として AGPL および 商用ライセンスで提供しています。
以下サイトよりオンラインデモをご体験ください！
このデモのようなアプリケーションをほぼノーコードで作成することができます。
ChatStreamは本格的な商用用途に向けて設計されており、以下のような特長を持っております
ChatStream の特長
-
高いUXを実現したチャットUI
- ChatGPTライクなユーザーインタフェースで迷わない
- マルチモーダルに対応した柔軟なチャットUI設計
-
短TATで高性能・高品質なチャットアプリを構築可能
- コマンド１つでインストール
- ローコード。数行のコードで本格的なＬＬＭ対話チャットを構築可能
-
高負荷設計
- 非同期文章生成処理により多ユーザー同時アクセスにも安定した応答
- 多ノード構成によりスケールアウトが容易
-
柔軟な動作環境（特定の環境に依存しない）
- Llama、RedpajamaIncite、Rinna など主要なLLM対応の動確済
- 各種ユーザー認証機構に柔軟に対応できる設計
- オンプレおよび各種クラウドプラットフォームに対応
- 推論実行はCPUおよびNVIDIA製 GPU (マルチGPUも可)対応
-
高UXなアプリ開発を加速化
- カスタマイズ可能なUIプリセットを豊富に準備
- LLM出力適正化を行う開発支援機能
動作環境は以下のとおりです。
（標準的な Python + NVIDIA GPU 環境で動作いたします）
動作環境
-
Python
- Python 3.10 ～
- Pytorch
-
GPU
- NVIDIA CUDA 11.7 対応 GPU
-
負荷分散
- マルチGPUスケールアウト対応
- マルチノードスケールアウト対応
- リクエストキューイングによる負荷コントロール
-
OS
- Linux
- Windows Server
-
API
- LLM の API 化に対応
-
暗号化(TLS/SSL)
- 対応
-
ユーザー認証
- OAuthによる認証
- メール認証
- （他、独自認証に対応可能）
サポート
- 豊富な日本語ドキュメント
- 手厚いサポート
- フルスクラッチ開発であるため、すみずみまで知り尽くしたエンジニアによるハンズオンサポートを英語・日本語にて提供
- 時差なく、日本のワーキングタイムにサポート対応
次回以降、ビジネス面、技術面についてより詳しくご紹介してまいります！
株式会社Qualitegでは、 生成AIを活用した貴社課題解決、ChatStream 基盤とした LLM アプリケーション構築、PoCのコンサルティング、ご支援を行っております。
ご相談・ご用命は当社営業担当または以下コンタクトにてお問合せください。
