[ChatStream] コンソールチャットの作成

[ChatStream] コンソールチャットの作成

こんにちは! (株)Qualiteg プロダクト開発部 です!

本稿では、 ChatStream を使って、コンソールチャットを作成する方法について説明いたします!

handle_console_input メソッドを使用することで CLI ベースのチャットを簡単に作成しモデルを試すことができます

chat.py

import asyncio

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
from chatstream import ChatStream, ChatPromptTogetherRedPajamaINCITEChat as ChatPrompt, LoadTime

model_path = "togethercomputer/RedPajama-INCITE-Chat-3B-v1"

device = "cuda"  # "cuda" / "cpu"

model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.float16)

tokenizer = AutoTokenizer.from_pretrained(model_path)

if device == "cuda":
    model.to(device)

chat_stream = ChatStream(
    model=model,
    tokenizer=tokenizer,
    device=device,
    chat_prompt_clazz=ChatPrompt,
)

async def console_chat_main():
    while True:
        user_input = input("YOU: ")
        if user_input.lower() == "exit":
            break

        async for response_text, updated_text, pos in chat_stream.handle_console_input(user_input):

            if pos == "begin":
                print("AI : ", end="", flush=True)
                print(updated_text, end="", flush=True)

            elif pos == "mid":
                print(updated_text, end="", flush=True)

            elif pos == "end":
                print()


if __name__ == "__main__":
    asyncio.run(console_chat_main())

0:00
/1:55

ちょっとお試ししたい用途なら、コンソールチャットも一つの選択肢となりますね!

Read more

GPT-6.2 Astra・Sol 完全ガイド モデル仕様とAPI料金・Claude/Gemini比較・Codex運用ポイント

GPT-6.2 Astra・Sol 完全ガイド モデル仕様とAPI料金・Claude/Gemini比較・Codex運用ポイント

GPT-6.2 Astra・Solの完全ガイド。Astraは前作より20%安い単価で独立評価の総合指数を5ポイント上げ、Solは価格据え置きで前作のAstraの水準に届きました。API料金と公表ベンチマーク、Claude・Gemini 4との価格と性能の比較、履歴を書き換えない作りへの移行、ChatGPT WorkとCodexでの使い方をまとめます。

By Qualiteg プロダクト開発部
Gemini 4 Carbon・Argon・Hydrogen 完全ガイド 3モデルの違いとAPI料金・他社モデルとの比較

Gemini 4 Carbon・Argon・Hydrogen 完全ガイド 3モデルの違いとAPI料金・他社モデルとの比較

Gemini 4 Carbon・Argon・Hydrogenの完全ガイド。3モデルの関係と選び方、12月1日に変わるAPI料金、Google公表ベンチマークと独立評価、GPT-6.2・Claudeとの価格と性能の比較、思考レベルやlong decodeなどAPI移行の要点、GeminiアプリとAntigravityでの使い方をまとめました。

By Qualiteg プロダクト開発部
[告白]残りのコンテキストが気になるたびに /context を打っていました。~Claude Code のステータスラインにコンテキストと利用枠の残りを常時表示する~

[告白]残りのコンテキストが気になるたびに /context を打っていました。~Claude Code のステータスラインにコンテキストと利用枠の残りを常時表示する~

Claude Code でコンテキストの残量を見るために、毎回 /context を打つ必要はありません。ステータスラインに、コンテキストの使用率と 5 時間・週の利用枠の残りを常時表示する方法を、Windows と Node.js だけで動く 40 行足らずのスクリプトつきで紹介します。

By Qualiteg Boot Camp
Claudeのリセット権(上限のリセット)とは?Fableリセット・週次リセットで戻るものとChatGPTとの違い

Claudeのリセット権(上限のリセット)とは?Fableリセット・週次リセットで戻るものとChatGPTとの違い

Claude Fable 5.2 のリリース記念で配られたリセット権(上限のリセット)をご紹介します。使った利用枠を定期リセットを待たずに戻せる権利で、Fable リセットで戻るのは Fable で使った分です。週次リセットとの違い、もらえる件数、プランごとの期限、注意点、ChatGPT のリセットとの違いを、公式ヘルプと実際の画面をもとに整理します。

By Qualiteg プロダクト開発部