ChatStream α1(プレビュー)提供のお知らせ

ChatStream α1(プレビュー)提供のお知らせ

株式会社 Qualiteg は LLMアプリケーション開発ツールキット ChatStream™ のαプレビュー版の提供を開始いたしました。

ChatStream™ とは 高品質な商用 LLM アプリケーションを簡単に構築できる Python ライブラリです。

Web フロントエンド(チャットUI) と 推論実行サーバーソフトウェア で構成されており、追加のソフトウェア開発をせずに ChatStream™ だけで LLM アプリケーションを実現することができます。

また、頭脳となる LLM には HuggingFace 等で提供されているオープンソースLLMを使用することができます。(ChatGPT等のAPIをつなぎこむことも可能です)。

2023年9月 現在は、 Pythonのライブラリ として AGPL および 商用ライセンスで提供しています。

以下サイトよりオンラインデモをご体験ください!

https://chatstream.net

このデモのようなアプリケーションをほぼノーコードで作成することができます。

ChatStreamは本格的な商用用途に向けて設計されており、以下のような特長を持っております

ChatStream の特長

  1. 高いUXを実現したチャットUI

    1. ChatGPTライクなユーザーインタフェースで迷わない
    2. マルチモーダルに対応した柔軟なチャットUI設計
  2. 短TATで高性能・高品質なチャットアプリを構築可能

    1. コマンド1つでインストール
    2. ローコード。数行のコードで本格的なLLM対話チャットを構築可能
  3. 高負荷設計

    1. 非同期文章生成処理により多ユーザー同時アクセスにも安定した応答
    2. 多ノード構成によりスケールアウトが容易
  4. 柔軟な動作環境(特定の環境に依存しない)

    1. Llama、RedpajamaIncite、Rinna など主要なLLM対応の動確済
    2. 各種ユーザー認証機構に柔軟に対応できる設計
    3. オンプレおよび各種クラウドプラットフォームに対応
    4. 推論実行はCPUおよびNVIDIA製 GPU (マルチGPUも可)対応
  5. 高UXなアプリ開発を加速化

    1. カスタマイズ可能なUIプリセットを豊富に準備
    2. LLM出力適正化を行う開発支援機能

動作環境は以下のとおりです。
(標準的な Python + NVIDIA GPU 環境で動作いたします)

動作環境

  • Python

    • Python 3.10 ~
    • Pytorch
  • GPU

    • NVIDIA CUDA 11.7 対応 GPU
  • 負荷分散

    • マルチGPUスケールアウト対応
    • マルチノードスケールアウト対応
    • リクエストキューイングによる負荷コントロール
  • OS

    • Linux
    • Windows Server
  • API

    • LLM の API 化に対応
  • 暗号化(TLS/SSL)

    • 対応
  • ユーザー認証

    • OAuthによる認証
    • メール認証
    • (他、独自認証に対応可能)

サポート

  • 豊富な日本語ドキュメント
  • 手厚いサポート
    • フルスクラッチ開発であるため、すみずみまで知り尽くしたエンジニアによるハンズオンサポートを英語・日本語にて提供
    • 時差なく、日本のワーキングタイムにサポート対応

次回以降、ビジネス面、技術面についてより詳しくご紹介してまいります!


株式会社Qualitegでは、 生成AIを活用した貴社課題解決、ChatStream 基盤とした LLM アプリケーション構築、PoCのコンサルティング、ご支援を行っております。

ご相談・ご用命は当社営業担当または以下コンタクトにてお問合せください。

https://qualiteg.com/contact


Read more

[告白]残りのコンテキストが気になるたびに /context を打っていました。~Claude Code のステータスラインにコンテキストと利用枠の残りを常時表示する~

[告白]残りのコンテキストが気になるたびに /context を打っていました。~Claude Code のステータスラインにコンテキストと利用枠の残りを常時表示する~

Claude Code でコンテキストの残量を見るために、毎回 /context を打つ必要はありません。ステータスラインに、コンテキストの使用率と 5 時間・週の利用枠の残りを常時表示する方法を、Windows と Node.js だけで動く 40 行足らずのスクリプトつきで紹介します。

By Qualiteg Boot Camp
Claudeのリセット権(上限のリセット)とは?Fableリセット・週次リセットで戻るものとChatGPTとの違い

Claudeのリセット権(上限のリセット)とは?Fableリセット・週次リセットで戻るものとChatGPTとの違い

Claude Fable 5.2 のリリース記念で配られたリセット権(上限のリセット)をご紹介します。使った利用枠を定期リセットを待たずに戻せる権利で、Fable リセットで戻るのは Fable で使った分です。週次リセットとの違い、もらえる件数、プランごとの期限、注意点、ChatGPT のリセットとの違いを、公式ヘルプと実際の画面をもとに整理します。

By Qualiteg プロダクト開発部
ゼロから作るコーディングエージェント【第6回】評価をどう作るか。動くものを作らせて自動採点し、採点器そのものを疑う

ゼロから作るコーディングエージェント【第6回】評価をどう作るか。動くものを作らせて自動採点し、採点器そのものを疑う

採点器の「テスト」10点が3日間ずっと0/0でした。点数の表を見ているだけでは気づけません。仕様書を渡してWebシステムを作らせ、起動して叩いて採点する評価装置の作り方、5種類×3本の合否基準、対照実験を先にやる理由、自作でない課題で「テストだけが決めている契約」を先に洗う話を、測った数字で書きます。

By Qualiteg プロダクト開発部