chatstream.net のクエリパラメータ仕様

chatstream.net のクエリパラメータ仕様

chatstream.net は(株)Qualiteg が運用するサービスで、世界中で公開されている最新のLLMをいちはやく体験することができます。

特定の LLM を開いてじっくりチャットをしたり、複数のLLM を開いて協調的につかってみたり、LLM同士で出力を比較させたり、LLMのもつポテンシャルを感じていただけるようになっています。

たとえば、PCブラウザでURLを開くと、4つのLLMを同時に開いて、同時にチャットを行うことができます。このようにお好みに応じてチャットを制御することができるのがURLパラメータです。

https://chatstream.net/?ws_name=chat_app&mult=1&ontp=1&isync=1&model_id=llama_3_elyza_jp_8b&model_id=openai_gpt_3_5_175b&model_id=anthropic_claude3_0_haiku&model_id=google_gemini1_5_flash

URLパラメータ

chatstream.net の動作はURLパラメータである程度制御することが可能です。

URLパラメータとは https://chatstream.net の後に ? を付与して例えば https://chatstream.net?model_id=openai_gpt_4o_mini のように ? につづいて キー=値 のようなクエリ文字列を指定することで chatstream.net のお好みに応じて制御することができます。

パラメータ一覧

【ws_name】
自動で選択状態にしたいワーキングセット名を指定します。

ws_name="chat_app"

ワーキングセットは、PC画面では左端(スマホでは下端)に表示されるボタンで切り替えることのできる作業単位です。現在は "chat_app","chat_app_en" を指定することができます。

【mult】
multi_topic_mode をあらわすクエリパラメータです。

mult=1

mult=1 を指定すると、マルチトピックモードとなり、PCで使用するときに、複数のLLMチャットを同時に開くことのできるモードになります。

(例)
mult=1 マルチトピックモード
mult=0 シングルトピックモード
mult無指定 デフォルト設定またはユーザーの記録

【ontp】
open_new_topic をあらわすクエリパラメータです。

新規トピックとして開きます。

ontp=1

(例)
ontp=1 自動的に新しいトピックを開く
ontp=0 (デフォルトに従う)
ontp無指定(デフォルト動作に従う)

【model_id】
自動的に開きたいmodel_idを指定します。
複数指定すると複数開くことができます

model_id=openai_gpt_4o_mini&model_id=rakuten__rakuten_ai_7b_chat

model_id 一覧(※一部モデルは法人版のみで有効)

モデル名 モデル表示名 model_id
llama3.1 Meta-Llama-3.1-8B meta_llama_3_1_8b_instruct
node(chatstream.net用mistral_nemo) Mistral-Nemo-Instruct-2407 mistral_nemo_instruct_2407
node:0(default) calm3-22b-chat calm3_22b_chat
node(chatstream.net用elyza8B) Llama-3-ELYZA-JP-8B llama_3_elyza_jp_8b
node:0(default) RakutenAI-7B-chat rakuten__rakuten_ai_7b_chat
node(chatstream.net用GPT4o_mini) OpenAI GPT-4o mini openai_gpt_4o_mini
node(chatstream.net用GPT3.5_newtech) OpenAI GPT-3.5 openai_gpt_3_5_175b
node(chatstream.net用Claude3Haiku) Anthropic Claude3-Haiku anthropic_claude3_0_haiku
node(chatstream.net用Gemini1.5Flash) Google Gemini1.5 Flash google_gemini1_5_flash
Anthropic Claude 3.5 Sonnet Anthropic Claude 3.5 Sonnet anthropic_claude_3_5_sonnet
Google Gemini1.5 Pro Google Gemini1.5 Pro google_gemini1_5_pro
OpenAI gpt-4o OpenAI GPT4o openai_gpt4o

・確実に複数 開きたいときは、 mult=1 を明示的に指定してください。
・確実に自動的に開きたいときは ontp=1 を明示的に指定してください。


【isync】
input_sync をあらわすクエリパラメータです。

複数のLLMへの入力を同期させることができます

isync=1


isync=1 入力同期が有効
isync=0 入力同期はしない
isync無指定 デフォルトの設定に従う

【noip】
noip は no_iphone をあらわすクエリーです。

iPhone専用の描画モードを無効にします

Read more

【解説】Tekken トークナイザーとは何か? 〜 Mistral が採用する新世代トークナイザーの特徴

【解説】Tekken トークナイザーとは何か? 〜 Mistral が採用する新世代トークナイザーの特徴

こんにちは! 本日は、Tekkenについて解説いたします! 皆さま Tekken と聞いて何を思い浮かべますか? 格ゲーの鉄拳でしょうか? 私は、昔プレイした Age of Empires に登場する鉄剣戦士を思い浮かべました🤗 ちょっと古いかもしれませんが、名作です! さてつかみはこのくらいにして、、 LLMはご存じのとおり驚異的なスピードで進化しています。そんな中でひそかに注目されているのが、トークナイザーの改善です。 たとえば、Meta の Llama 系モデルのトークナイザーは Sentence Piece から BPE系へ進化するなど、LLM業界では従来よりも高効率なトークナイズ(テキスト分割)の方法を導入し始めています。 そして Mistral AI もまた、新たに「Tekken トークナイザー」という仕組みを採用し、大規模言語モデルの性能を底上げしています。 本記事では、Tekken トークナイザーの登場背景や技術的特徴、他のトークナイザーとの違い、さらには Mistral との関係などをわかりやすく解説していきます。 1. Tekken トーク

By Qualiteg プロダクト開発部
[AI新規事業創出]Qualitegオリジナル、アイディア評価、事業アイディア選定方法

[AI新規事業創出]Qualitegオリジナル、アイディア評価、事業アイディア選定方法

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。 はじめに AI技術の急速な発展は、スタートアップから大企業まで、あらゆるビジネスに新たな可能性をもたらしています。クライアントとの会話の中でも、AIを活用した革新的な事業アイディアに関する相談が増えています。 しかし、多くの企業が「素晴らしいアイディアを思いついた!」と興奮しながらも、そのアイディアを具体化し、成功に導くための方法論に悩んでいるのも事実です。特にAIを用いた事業展開においては、従来のビジネスモデルとは異なる視点が必要となるため、その難しさはさらに増します。 本記事では、Qualitegオリジナルのアイディア評価、事業アイディア選定方法について解説します。特に、AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、

By Join us, Michele on Qualiteg's adventure to innovation
日本語対応!Mistral Small v3 解説

日本語対応!Mistral Small v3 解説

こんにちは! Mistral AIは2025年1月30日、新しい言語モデル「Mistral Small v3」を発表しました。このモデルは、24Bという比較的小規模なパラメータ数ながら、70B以上の大規模モデルに匹敵する性能を実現しています。また日本語対応も謳われており期待の高い小型モデルです! https://huggingface.co/mistralai/Mistral-Small-24B-Instruct-2501 動画 こちら本ブログの解説動画もご覧いただけます😊 きわだってるのは、レイテンシー最適化 Mistral Small 3のめだった特徴は、その処理性能とレイテンシーの絶妙なバランスではないでしょうか。 公開されている以下の性能評価のグラフによると、トークンあたり約11ミリ秒という業界最速レベルのレイテンシーを達成しています。これは、Qwen-2.5 32Bの約15ミリ秒やGemma-2 27Bの約14ミリ秒と比較して、明確な優位性を示しています。さらに注目すべきは、GPT-4o Miniと比較しても、より低いレイテンシーで同等以上の性能を実現し

By Qualiteg プロダクト開発部
[vLLM] To use CUDA with multiprocessing, you must use the 'spawn' start method の対処法

[vLLM] To use CUDA with multiprocessing, you must use the 'spawn' start method の対処法

WSLで vLLM を使用するとき、 tensor parallel を使って複数枚のGPUで1つのLLMをサーブしようとしたとき以下のようなエラーが発生しがちです RuntimeError: Cannot re-initialize CUDA in forked subprocess. To use CUDA with multiprocessing, you must use the 'spawn' start method 遭遇するシーンとしてはvLLMの起動オプションに以下のようにテンソル並列化オプションを指定したときです。 --tensor-parallel-size 2 つまり、マルチプロセッシングでCUDA使うときは、 "fork"じゃなくて"spawn" 使ってね、というエラーです。 これを vLLM に教えるために、以下の2行目のように環境変数を設定してあげるとvLLMが "spawn" を使ってくれるようになります。 export

By Qualiteg プロダクト開発部