[ChatStream] LLMの読み込みが長いときは Generator Mock レスポンス

[ChatStream] LLMの読み込みが長いときは Generator Mock レスポンス

こんにちは! (株)Qualiteg プロダクト開発部 です!

本稿では、LLMの読み込みに時間がかかるときに使えるテクニックについてご紹介いたします。

テスト用途や、ChatStream の API をつかったサンプルアプリを実装したいときに、何度か ChatStream を再起動しては、試してみたいというシーンがあります。そういうときに、本来は LLM として読み込まなくても、ChatStreamのAPIにそった”決まり切った”レスポンスで問題がないという場合があります。

このとき、サイズの小さなLLMを読んで読み込み時間を短縮するというワザもあるのですが、そもそも、固定的なレスポンスを返してくれればそれでOKという場合は、 Mockレスポンス を指定することができます。

再起動のたびに、 LLM を読み込む時間にストレスを感じていた方はぜひこちらをお試しくださいませ!

Generator Mockレスポンスの利用(高速起動)

Generator Mockレスポンスを使用すると読み込みに時間のかかる事前学習済言語モデルのかわりに、ダミーの文章を生成させることができます

使用方法

chat_stream = ChatStream(
    use_mock_response=True,
    mock_params={"type": "echo", "initial_wait_sec": 1, "time_per_token_sec": 1},
    chat_prompt_clazz=ChatPrompt,
)

ChatStream クラスのコンストラクタ引数

  • use_mock_response ... True ジェネレーターモックレスポンスを有効にする。
  • mock_params ... ジェネレーターモックレスポンスの生成ルールを指定する
  • chat_prompt_clazz ... プロンプト履歴管理クラス

mock_params パラメータ

パラメータ名 パラメータ値 説明
type round 100ワード程度のダミー文章をラウンドロビン方式で生成する
long 長文のダミー文章を生成する
echo ユーザーが入力した文字列をそのまま返す
initial_wait_sec 数値(秒) 文章生成開始までの待ち時間を 秒 で指定する
time_per_token_sec 数値(秒) 1トークンあたりの生成時間。

上記設定のようにすると、 ChatStream はLLM を読み込む必要がないため、一瞬!で起動します。

Transformer Mockとの違い

類似の機能に Transformer Mockモード があります。

https://blog.qualiteg.com/transformerying-da-womotukusuru/

Transformer Mock モードは 実際のModel,Tokenizerの挙動を記録して再現するのにたいして Generator Mock は
入力を受け取った後、ダミーの文章で応答します。 Transformer Mock モードは決められた入力しか受け付けられませんが、Generator Mockは
どのような入力でもダミーの文章で応答します。
用途に応じて使い分けることができます。

Read more

GPT-6.2 Astra・Sol 完全ガイド モデル仕様とAPI料金・Claude/Gemini比較・Codex運用ポイント

GPT-6.2 Astra・Sol 完全ガイド モデル仕様とAPI料金・Claude/Gemini比較・Codex運用ポイント

GPT-6.2 Astra・Solの完全ガイド。Astraは前作より20%安い単価で独立評価の総合指数を5ポイント上げ、Solは価格据え置きで前作のAstraの水準に届きました。API料金と公表ベンチマーク、Claude・Gemini 4との価格と性能の比較、履歴を書き換えない作りへの移行、ChatGPT WorkとCodexでの使い方をまとめます。

By Qualiteg プロダクト開発部
Gemini 4 Carbon・Argon・Hydrogen 完全ガイド 3モデルの違いとAPI料金・他社モデルとの比較

Gemini 4 Carbon・Argon・Hydrogen 完全ガイド 3モデルの違いとAPI料金・他社モデルとの比較

Gemini 4 Carbon・Argon・Hydrogenの完全ガイド。3モデルの関係と選び方、12月1日に変わるAPI料金、Google公表ベンチマークと独立評価、GPT-6.2・Claudeとの価格と性能の比較、思考レベルやlong decodeなどAPI移行の要点、GeminiアプリとAntigravityでの使い方をまとめました。

By Qualiteg プロダクト開発部
[告白]残りのコンテキストが気になるたびに /context を打っていました。~Claude Code のステータスラインにコンテキストと利用枠の残りを常時表示する~

[告白]残りのコンテキストが気になるたびに /context を打っていました。~Claude Code のステータスラインにコンテキストと利用枠の残りを常時表示する~

Claude Code でコンテキストの残量を見るために、毎回 /context を打つ必要はありません。ステータスラインに、コンテキストの使用率と 5 時間・週の利用枠の残りを常時表示する方法を、Windows と Node.js だけで動く 40 行足らずのスクリプトつきで紹介します。

By Qualiteg Boot Camp
Claudeのリセット権(上限のリセット)とは?Fableリセット・週次リセットで戻るものとChatGPTとの違い

Claudeのリセット権(上限のリセット)とは?Fableリセット・週次リセットで戻るものとChatGPTとの違い

Claude Fable 5.2 のリリース記念で配られたリセット権(上限のリセット)をご紹介します。使った利用枠を定期リセットを待たずに戻せる権利で、Fable リセットで戻るのは Fable で使った分です。週次リセットとの違い、もらえる件数、プランごとの期限、注意点、ChatGPT のリセットとの違いを、公式ヘルプと実際の画面をもとに整理します。

By Qualiteg プロダクト開発部