ChatStream α1(プレビュー)提供のお知らせ

ChatStream α1(プレビュー)提供のお知らせ

株式会社 Qualiteg は LLMアプリケーション開発ツールキット ChatStream™ のαプレビュー版の提供を開始いたしました。

ChatStream™ とは 高品質な商用 LLM アプリケーションを簡単に構築できる Python ライブラリです。

Web フロントエンド(チャットUI) と 推論実行サーバーソフトウェア で構成されており、追加のソフトウェア開発をせずに ChatStream™ だけで LLM アプリケーションを実現することができます。

また、頭脳となる LLM には HuggingFace 等で提供されているオープンソースLLMを使用することができます。(ChatGPT等のAPIをつなぎこむことも可能です)。

2023年9月 現在は、 Pythonのライブラリ として AGPL および 商用ライセンスで提供しています。

以下サイトよりオンラインデモをご体験ください!

https://chatstream.net

このデモのようなアプリケーションをほぼノーコードで作成することができます。

ChatStreamは本格的な商用用途に向けて設計されており、以下のような特長を持っております

ChatStream の特長

  1. 高いUXを実現したチャットUI

    1. ChatGPTライクなユーザーインタフェースで迷わない
    2. マルチモーダルに対応した柔軟なチャットUI設計
  2. 短TATで高性能・高品質なチャットアプリを構築可能

    1. コマンド1つでインストール
    2. ローコード。数行のコードで本格的なLLM対話チャットを構築可能
  3. 高負荷設計

    1. 非同期文章生成処理により多ユーザー同時アクセスにも安定した応答
    2. 多ノード構成によりスケールアウトが容易
  4. 柔軟な動作環境(特定の環境に依存しない)

    1. Llama、RedpajamaIncite、Rinna など主要なLLM対応の動確済
    2. 各種ユーザー認証機構に柔軟に対応できる設計
    3. オンプレおよび各種クラウドプラットフォームに対応
    4. 推論実行はCPUおよびNVIDIA製 GPU (マルチGPUも可)対応
  5. 高UXなアプリ開発を加速化

    1. カスタマイズ可能なUIプリセットを豊富に準備
    2. LLM出力適正化を行う開発支援機能

動作環境は以下のとおりです。
(標準的な Python + NVIDIA GPU 環境で動作いたします)

動作環境

  • Python

    • Python 3.10 ~
    • Pytorch
  • GPU

    • NVIDIA CUDA 11.7 対応 GPU
  • 負荷分散

    • マルチGPUスケールアウト対応
    • マルチノードスケールアウト対応
    • リクエストキューイングによる負荷コントロール
  • OS

    • Linux
    • Windows Server
  • API

    • LLM の API 化に対応
  • 暗号化(TLS/SSL)

    • 対応
  • ユーザー認証

    • OAuthによる認証
    • メール認証
    • (他、独自認証に対応可能)

サポート

  • 豊富な日本語ドキュメント
  • 手厚いサポート
    • フルスクラッチ開発であるため、すみずみまで知り尽くしたエンジニアによるハンズオンサポートを英語・日本語にて提供
    • 時差なく、日本のワーキングタイムにサポート対応

次回以降、ビジネス面、技術面についてより詳しくご紹介してまいります!


株式会社Qualitegでは、 生成AIを活用した貴社課題解決、ChatStream 基盤とした LLM アプリケーション構築、PoCのコンサルティング、ご支援を行っております。

ご相談・ご用命は当社営業担当または以下コンタクトにてお問合せください。

https://qualiteg.com/contact


Read more

GPUサーバーの最適容量計算: キューイング理論と実践的モデル

GPUサーバーの最適容量計算: キューイング理論と実践的モデル

最大ユーザーサポート数計算ツール 同時に1件のみ処理できるGPU変換サーバーの最大ユーザーサポート数を計算します 処理時間 (t_p) 分/件 1件の変換処理にかかる時間 目標システム利用率 (ρ) 0 〜 1 安定稼働のための目標稼働率(推奨: 0.7〜0.8) ピーク係数 (P_c) 倍 最も混雑する時間帯の平均アクセス倍率 稼働時間 (H) 時間/日 システムが1日に稼働している総時間 アクセス確率 (P_a) 0 〜 1 1人のユーザーが1日にシステムを利用する確率 1ユーザーあたりの変換回数 (F) 回/日 利用する日の平均変換処理回数 計算過程を表示 計算結果 サポート可能な総ユーザー数: 人 計算式: N = (ρ × μ × H) ÷ (P_a

By Qualiteg プロダクト開発部
PyTorch 2.6 のセキュリティ: モデルチェックポイントロードの安全対策

PyTorch 2.6 のセキュリティ: モデルチェックポイントロードの安全対策

こんにちは! 今日は、魅力的なPyTorchチェックポイントが配られているからと言って無邪気に使っちゃうと、超ヤバイよ、というお話になります。 みなさまモデルチェックポイントをロードする際のセキュリティリスクについて考えたことはありますでしょうか。実はモデルの重みファイルだとばかり思っていたチェックポイントが、思わぬセキュリティホールになる可能性があります。 本記事では、PyTorchのtorch.load関数の安全性と、モデルチェックポイントを適切に扱うための実践的なガイドラインを紹介します。 モデルチェックポイントの隠れた危険性 PyTorchのtorch.load関数は非常に便利な一方で、セキュリティ上の重大なリスクを含んでいます。 その理由は、 * チェックポイント単なるパラメータだけではないよ! チェックポイントファイルには、モデルの重み(weights)だけでなく、クラスや関数など任意のPythonコードを含めることが可能です。 * 実行可能なコードが入ってるよ! これは、チェックポイントが単なる「データファイル」ではなく、Pytho

By Qualiteg プロダクト開発部
[AI新規事業創出]Qualitegオリジナル、アイデア評価、事業アイデア選定方法

[AI新規事業創出]Qualitegオリジナル、アイデア評価、事業アイデア選定方法

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。 AIを活用した事業アイデア評価と選定方法 | Qualitegオリジナルアプローチ 新規事業の立ち上げは、アイデアの創出から始まりますが、その後の評価と選定プロセスこそが成功の鍵を握ります。Qualitegでは、AIを積極的に活用した独自の評価・選定メソッドを開発し、より客観的かつ多角的な視点でビジネスアイデアを検証しています。今回は、私たちの実践的なアプローチをご紹介します。 AIを活用したアイデア評価の基本フレームワーク 当社のアイデア評価プロセスは、以下の2段階で構成しております。 1. 多次元評価マトリックスによる定量分析 まず、出てきたアイデアについて、ChatGPTなどの大規模言語モデル(LLM)を活用し、以下の8つの評価軸でアイデア

By Join us, Michele on Qualiteg's adventure to innovation
Windows Terminal で「無効な "icon" を持つプロファイルが見つかりました。既定では、そのプロファイルにアイコンはありません。」が出たときの対処法

Windows Terminal で「無効な "icon" を持つプロファイルが見つかりました。既定では、そのプロファイルにアイコンはありません。」が出たときの対処法

何度か、WSL にいろんなバージョンのLinux を入れたり消したりしたときに遭遇した現象です ユーザー設定の読み込み中にエラーが発生しました 無効な "icon" を持つプロファイルが見つかりました。既定では、そのプロファイルにアイコンはありません。"icon" を設定するときは、値が画像への有効なファイルパスとなっていることをご確認ください。 が発生するときの原因と対象法のレポートです 原因 使われなくなったゾンビ・プロファイルがWindows Terminal (のキャッシュ)に残り続ける 対処法 このメッセージを解消するには、いったん、プロファイルをリセットする必要がありました。 ※既存プロファイル設定が消える場合があるので留意すること Step1 Windows Terminal を落とす Windows Terminal をいったんすべて落とす Step2 settings.json を消す エクスプローラーで settings.json のあるフォルダに移動しファイルを削除する %LOCALAPPDATA%\Packages\Micros

By Qualiteg プロダクト開発部