[ChatStream] ChatPrompt の実装

[ChatStream] ChatPrompt の実装

ChatPrompt とは

こんにちは! (株)Qualiteg プロダクト開発部 です!

本稿では、 ChatPrompt の具体的な実装方法をご紹介いたします!

ChatPrompt とは、事前学習済言語モデル(以降、モデル)用のプロンプトを生成するためのクラスです。プロンプトクラスと呼びます。

たとえば、 redpajama-incite の場合は以下のようなプロンプトをつくり、モデルに入力します。

<human>: Who is Alan Turing
<bot>:

すると、モデルは続きの文章を生成し、以下を出力します。

<human>: Who is Alan Turing
<bot>: He was a very honorable man.

この例では <human><bot> の後に : が続き、\n で区切られています。

こうしたルール、お作法はモデルごとに微妙に異なっています。

このプロンプトの生成や会話履歴の保持を行うクラスが ChatPrompt で、 プロンプトクラス と呼びます。

前述の通り、モデルごとにお作法が違うので、モデルごとの プロンプトクラス が必要になります。

プリセット プロンプトクラス

ChatStream では、いくつかの有名なモデルについてはプロンプトクラス = ChatPromptクラス を準備しています。

プロンプトクラスの自作

新しいモデルなど、まだプロンプトクラスが無い場合は自作することができます。

ChatPrompt プロンプトクラスの実装

プロンプトクラスの役割は以下のとおりです

  • 1. ユーザーの入力や、これまでの会話履歴をもとにモデル用のプロンプトを出力する
  • 2. 文章を適切に生成するため、
    • 2-1. 文章生成を停止する特殊トークンを情報を持つ
    • 2-2. 特定のトークンの変換情報を持つ

プロンプトはモデルごとにお作法が異なるので、そのお作法の違いを実装します

といっても、基本は文章の連結ルールを定義するだけなので難しくありません

プロンプトクラスの基底クラスのインポート

プロンプトクラスのもととなる、 AbstractChatPrompt クラスをインポートします

from chatstream import AbstractChatPrompt

基底クラスのオーバーライド

AbstractChatPrompt クラスは抽象クラスなので、必要なメソッドをオーバーライドしていきます

以下は rinna/japanese-gpt-neox-3.6b-instruction-sft 用のプロンプトクラスの実装例です

このモデルでは、以下のようなプロンプトのフォーマットを出力することが目的です

ユーザー: 日本のおすすめの観光地を教えてください。<NL>システム: どの地域の観光地が知りたいですか?<NL>ユーザー: 渋谷の観光地を教えてください。<NL>システム: 

実装は以下のようになります

from chatstream import AbstractChatPrompt


class ChatPromptRinnaJapaneseGPTNeoxInst(AbstractChatPrompt):
    def __init__(self):
        super().__init__()
        self.set_requester("ユーザー")  # モデルに対して要求する側のロール名 を指定します
        self.set_responder("システム")  # 返信する側=モデル のロール名 を指定します

    def get_stop_strs(self):
        return []  # あるキーワードが来たら文章生成を停止したい場合はここにキーワードを列挙します

    def get_replacement_when_input(self):
        return [("\n", "<NL>")]  # 入力時の入力テキストの置換ルール

    def get_replacement_when_output(self):
        return [("<NL>", "\n")]  # 出力時の出力テキストの置換ルール

    def create_prompt(self, opts={}):
        # プロンプトを構築していきます
        ret = self.system;
        # get_contents でこれまでの会話履歴リストを取得
        for chat_content in self.get_contents(opts):
            # ロール名を取得
            chat_content_role = chat_content.get_role()
            # メッセージを取得
            chat_content_message = chat_content.get_message()

            if chat_content_role:

                if chat_content_message:
                    # メッセージパートが存在する場合
                    merged_message = chat_content_role + ": " + chat_content_message + "<NL>"
                else:
                    merged_message = chat_content_role + ": "

                ret += merged_message

        return ret

    def build_initial_prompt(self, chat_prompt):
        # 初期プロンプトは実装しない
        pass

プロンプトクラスの実装:ロールの設定

  • コンストラクタで、基底クラスの __init__() を呼び出します
  • 2者間チャットの場合は、 set_requesterset_responder でロール名を指定します。
def __init__(self):
    super().__init__()
    self.set_requester("ユーザー")  # モデルに対して要求する側のロール名 を指定します
    self.set_responder("システム")  # 返信する側=モデル のロール名 を指定します

もしシステム全体の初期化メッセージが必要な場合は set_system メソッドでシステムメッセージをセットします

def __init__(self):
    super().__init__()
    self.set_system("ユーザーとシステムからなるチャットシステムです。システムはユーザーに対して丁寧かつ正確な回答をするよう心がけます")
    self.set_requester("ユーザー")  # モデルに対して要求する側のロール名 を指定します
    self.set_responder("システム")  # 返信する側=モデル のロール名 を指定します

プロンプトクラスの実装:停止文字列の設定

  • 停止文字列を指定すると、特定のキーワード、トークンが出現した場合に文章生成を停止させることができます。
  • 無指定の場合は return [] とします
  • 停止文字列 と EOSトークン は異なります。ここで停止文字列を無指定にしても
    tokenizer にあらかじめ設定されている EOSトークン (tokenizer.eos_token_id)でも文章生成は停止します。
    def get_stop_strs(self):


    return ['</s>']  # '</s>' が出現したら、そこで文章生成を停止する

プロンプトクラスの実装:入力テキストの置換ルールの設定

チャットの実装では基本的にユーザーが入力した文章をモデルに入力しますが、モデルに入力できない文字やモデルに入力する際に変換が必要になる場合があります。

たとえば、ユーザーが入力した文章に \n (改行) が含まれているが、モデルが \n を受け付けられない場合は \n を適切な文字列に置換する必要があります。

ユーザーの入力をモデルに入力するときに置換するには以下のように指定します

    def get_replacement_when_input(self):


    return [("\n", "<NL>")]  # 入力時の入力テキストの置換ルール

ここでは \n<NL> に置換するように指定しています。("\n", "<NL>") のように組み合わせをタプルで指定します。
複数の置換パターンを登録したいときはこのタプルを複数指定します。

プロンプトクラスの実装:出力テキストの置換ルールの設定

モデルが出力した文章内に登場するキーワードを置換することができます。

例えば、モデルの出力が おはようございます。<NL>何か御用でしょうか だった場合に <NL> を 改行を示す \n に置換したいときに以下のように設定することで
出力を置換することができます

   def get_replacement_when_output(self):


   return [("<NL>", "\n")]  # 出力時の出力テキストの置換ルール

プロンプトクラスの実装:プロンプトの生成

過去の会話履歴を含めたプロンプト全体を生成するのが create_prompt メソッドです。

過去の会話履歴は self.get_contents() で取得することができます。

get_contents の戻り値は リストで、値には ChatContent クラスのインスタンスが格納されます

ChatContent クラスは1件分のチャット内容が格納されておりchat_content.getRole() でロール名、 chat_content.get_message()
でそのロールの発話内容(テキスト)が取得できます。

これらをつなぎあわせるロジックを記述することで、モデルが期待するフォーマットのプロンプトを生成することができます

    def create_prompt(self, opts={}):


# プロンプトを構築していきます
ret = self.system;
# get_contents でこれまでの会話履歴リストを取得
for chat_content in self.get_contents(opts):
    # ロール名を取得
    chat_content_role = chat_content.get_role()
    # メッセージを取得
    chat_content_message = chat_content.get_message()

    if chat_content_role:

        if chat_content_message:
            # メッセージパートが存在する場合
            merged_message = chat_content_role + ": " + chat_content_message + "<NL>"
        else:
            merged_message = chat_content_role + ": "

        ret += merged_message

return ret

プロンプトクラスの実装:初期プロンプト、初期コンテクストの生成

モデルによっては、事前に、ある程度会話のコンテクストを設定しておきたい場合があります。

いきなりモデルに入力して文章させることを ゼロショット と呼びますが、
事前にいくらか入力しておいて、前提知識や、例示などをあたえると、その後の出力が安定する場合があります。

これを ワンショットやフューショット などと呼びます。

チャットの場合はある特定の話題から会話を開始する、などの用途でも用います

以下は初期コンテクストとして、映画「タイタニック」と会話している状態からチャットを開始するための例です

build_initial_promptメソッドをオーバーライドします

def build_initial_prompt(self, chat_prompt):
    chat_prompt.add_requester_msg("Do you know about the Titanic movie?")
    chat_prompt.add_responder_msg("Yes, I am familiar with it.")
    chat_prompt.add_requester_msg("Who starred in the movie?")
    chat_prompt.add_responder_msg("Leonardo DiCaprio and Kate Winslet.")

Read more

AI時代のデータ漏洩防止の要諦とテクノロジー:第1回 AI DLPとPROXY

AI時代のデータ漏洩防止の要諦とテクノロジー:第1回 AI DLPとPROXY

こんにちは!本日はAI時代のデータ漏洩防止について、とくにその通信技術面に焦点をあてつつ、AIセキュリティにどのように取り組んでいくべきか、解説いたします。 1. はじめに 生成AIの急速な普及により、企業のデータガバナンスは新たな局面を迎えています。ChatGPTやClaudeといった大規模言語モデル(LLM)は、業務効率を飛躍的に向上させる一方で、意図しない機密情報の漏洩という深刻なリスクをもたらしています。 従業員が何気なく入力した顧客情報や営業秘密が、AIサービスの学習データとして使用される可能性があることを、多くの組織はまだ十分に認識していません。従来のDLP(Data Loss Prevention)ソリューションは、メールやファイル転送を監視することには長けていましたが、リアルタイムで行われるWebベースのAIチャットやAIエージェントとの対話で発生しうる新しい脅威には対応できていないのが現状です。 本記事では、AI時代のデータ漏洩防止において中核となる技術、特にHTTPS通信のインターセプトとその限界について、技術的な観点から詳しく解説します。プロキシサーバー

By Qualiteg プロダクト開発部, Qualiteg コンサルティング
LLM推論基盤プロビジョニング講座 第5回 GPUノード構成から負荷試験までの実践プロセス

LLM推論基盤プロビジョニング講座 第5回 GPUノード構成から負荷試験までの実践プロセス

こんにちは!これまでのLLM推論基盤プロビジョニング講座では、推論速度の定義、リクエスト数見積もり、メモリ消費量計算、推論エンジン選定について詳しく解説してきました。 今回は、残りのステップである「GPUノード構成見積もり」「負荷試験」「トレードオフ検討」について一気に解説し、最後に実際のサーバー構成例をご紹介します。 STEP5:GPUノード構成見積もり GPUメモリから考える同時リクエスト処理能力 LLMサービスを構築する際、どのGPUを何台選ぶかは非常に重要な決断です。今回はLlama 8Bモデルを例に、GPUメモリ容量と同時リクエスト処理能力の関係を見ていきましょう。 GPUメモリの使われ方を理解する ここは復習となりますが、 LLM推論においてGPUメモリは主に2つの用途で消費されます 1. モデル重みデータ: LLMモデル自体を格納するためのメモリ 2. KVキャッシュ: ユーザーとの対話コンテキストを保持するための一時メモリ Llama 8Bを16ビット精度で実行する場合、モデル重みデータは約16GBのメモリを占めます。これは固定的なメモリ消

By Qualiteg コンサルティング
発話音声からリアルなリップシンクを生成する技術 第2回:AIを使ったドリフト補正

発話音声からリアルなリップシンクを生成する技術 第2回:AIを使ったドリフト補正

こんにちは! 前回の記事では、当社のMotionVoxで使用している「リップシンク」技術について、wav2vecを用いた音声特徴量抽出の仕組みを解説しました。音声から正確な口の動きを予測するための基礎技術について理解いただけたかと思います。 今回は、その続編として、リップシンク制作における重要な技術的課題である「累積ドリフト」に焦点を当てます。wav2vecで高精度な音素認識ができても、実際の動画制作では複数の音声セグメントを時系列に配置する際、わずかなタイミング誤差が蓄積して最終的に大きなずれとなる現象が発生します。 本記事では、この累積ドリフトのメカニズムと、機械学習を活用した最新の補正技術について、実際の測定データを交えながら詳しく解説していきます。前回のwav2vecによる特徴抽出と今回のドリフト補正技術を組み合わせることで、MotionVoxがどのように高品質なリップシンクを実現しているのか、その全体像が見えてくるはずです。 累積ドリフトとは何か 基本概念 累積ドリフトとは、個々の音声セグメントが持つ微小なタイミング誤差が、時間の経過とともに蓄積していく現象で

By Qualiteg 研究部
AIエージェント時代の新たな番人「ガーディアンエージェント」とは?

AIエージェント時代の新たな番人「ガーディアンエージェント」とは?

こんにちは!今日は先日ガートナーが発表したガーディアンエージェントについて解説します ガートナーの公式定義 ハイプカーブで有名なガートナーは2025年6月に、ガーディアンエージェントに関する見解を発表しました。ガーディアン・エージェントとは、AIとの安全で信頼できるやりとりを支援するために設計されたAIベースのテクノロジです。 ざっくりいうと、 「AIエージェントが来るよ」と予言したガートナー社は、次は、「ガーディアンエージェントが来るよ」と予言しました。なぜガーディアンエージェントが来るのでしょうか?本稿では、そのあたりを考察していきたいと思います。 なぜ今、AIの「監視役」が必要なのか 2025年、私たちは本格的なAIエージェント時代の入り口に立っています。AIが単なるツールから、自律的に判断し行動する「エージェント」へと進化する中で、新たな課題が浮上しています。 従来のAIとエージェント型AIの違い さて、ガーディアンエージェントが必要になる理由として、生成AI(以後AIと呼びます)の急速な進化があげられます。従来のAIとエージェント型AIの違いを思い出

By Qualiteg コンサルティング