[ChatStream] 同時リクエスト時の推論速度を手軽に計測する

[ChatStream] 同時リクエスト時の推論速度を手軽に計測する

こんにちは、Qualitegプロダクト開発部です。

今回は RakutenAI-7B-Chat に5人同時リクエストしたときのパフォーマンスをお手軽に計測してみました。

実験環境

  • GPU: A5000
  • LLM: RakutenAI-7B-Chat AWQ-8
  • 推論環境: ChatStream v0.7.2
  • 同時リクエスト数: 5

動画のほうがわかりやすいとおもいますので、実際の実験の様子はこちらの動画をつくりました。ご覧くださいませ

動画にもありますように、ChatStreamUIのマルチタスク機能を有効にすると、同一画面内に複数のチャットウィンドウを開くことができます。

マルチタスク機能は、複数のLLMを連携させて業務をすすめていく為の機能ですが、今回は、この特長を利用して、同じモデルに対して同時に生成リクエストを投げる用途で使ってみました。以前も、この機能をつかった簡易計測をご紹介したのですが、今回は、入力プロンプトの同期機能を使用したので、より簡単に実施できました。
(1つのテキストボックスに入力プロンプトを入力すると、他のテキストボックスも連動します)

さて、結果ですが、動画にあるとおり、5人同時リクエストで70 tokens/sec 程度の推論速度がでました。

ChatStreamUIの仕様上、ウィンドウが狭くなることを気にしなくてよいなら同時リクエスト数(concurrency)はいくらでも増やすことができるので、推論速度の負荷テストも簡単にできる、、、とよいのですが、実際にはブラウザには1つのオリジンに同時に張れるセッションの数が限られている為、20や30といった同時リクエストはブラウザの仕様的に不可能となります。

本番向けに同時20件、同時30件、同時100件といった負荷テストは行うときは、当社の開発するLLMサービス専用負荷テストツールLLMLoadもおすすめですので、そちらは別途記事にしたいとおもいます。

[参考]1リクエストの場合

1リクエストのみの場合の実験はこちらの動画にあります。

1人同時リクエストで推論速度は 75 tokens/s ということで、5人同時リクエストのときよりやや速かったですが、逆にいえば、5人同時リクエストていどでは、ほとんどスループットは落ちないということがわかりました。

Read more

GPT-6.2 Astra・Sol 完全ガイド モデル仕様とAPI料金・Claude/Gemini比較・Codex運用ポイント

GPT-6.2 Astra・Sol 完全ガイド モデル仕様とAPI料金・Claude/Gemini比較・Codex運用ポイント

GPT-6.2 Astra・Solの完全ガイド。Astraは前作より20%安い単価で独立評価の総合指数を5ポイント上げ、Solは価格据え置きで前作のAstraの水準に届きました。API料金と公表ベンチマーク、Claude・Gemini 4との価格と性能の比較、履歴を書き換えない作りへの移行、ChatGPT WorkとCodexでの使い方をまとめます。

By Qualiteg プロダクト開発部
Gemini 4 Carbon・Argon・Hydrogen 完全ガイド 3モデルの違いとAPI料金・他社モデルとの比較

Gemini 4 Carbon・Argon・Hydrogen 完全ガイド 3モデルの違いとAPI料金・他社モデルとの比較

Gemini 4 Carbon・Argon・Hydrogenの完全ガイド。3モデルの関係と選び方、12月1日に変わるAPI料金、Google公表ベンチマークと独立評価、GPT-6.2・Claudeとの価格と性能の比較、思考レベルやlong decodeなどAPI移行の要点、GeminiアプリとAntigravityでの使い方をまとめました。

By Qualiteg プロダクト開発部
[告白]残りのコンテキストが気になるたびに /context を打っていました。~Claude Code のステータスラインにコンテキストと利用枠の残りを常時表示する~

[告白]残りのコンテキストが気になるたびに /context を打っていました。~Claude Code のステータスラインにコンテキストと利用枠の残りを常時表示する~

Claude Code でコンテキストの残量を見るために、毎回 /context を打つ必要はありません。ステータスラインに、コンテキストの使用率と 5 時間・週の利用枠の残りを常時表示する方法を、Windows と Node.js だけで動く 40 行足らずのスクリプトつきで紹介します。

By Qualiteg Boot Camp
Claudeのリセット権(上限のリセット)とは?Fableリセット・週次リセットで戻るものとChatGPTとの違い

Claudeのリセット権(上限のリセット)とは?Fableリセット・週次リセットで戻るものとChatGPTとの違い

Claude Fable 5.2 のリリース記念で配られたリセット権(上限のリセット)をご紹介します。使った利用枠を定期リセットを待たずに戻せる権利で、Fable リセットで戻るのは Fable で使った分です。週次リセットとの違い、もらえる件数、プランごとの期限、注意点、ChatGPT のリセットとの違いを、公式ヘルプと実際の画面をもとに整理します。

By Qualiteg プロダクト開発部