[AI数理]徹底的に交差エントロピー(7)

[AI数理]徹底的に交差エントロピー(7)

おはようございます!(株) Qualiteg 研究部です。

今回は、交差エントロピーの計算をベクトルや行列で表現する方法について説明します!

8章 交差エントロピーとベクトル演算

そもそも、なぜ、交差エントロピーをベクトルや行列で表現したいのでしょうか?

それは、実際にニューラルネットワークをコンピュータープログラムとして実装するときに、訓練データや予測値はベクトル(1次元配列)や行列(2次元配列)といったN階テンソル(N次元配列)の形式で取り扱われるからです。

なぜベクトルや行列かといえば、ニューラルネットワークの実用的な計算をするときにはデータを1件とりだしては、1件計算する のではなく、多くのデータをベクトル(1次元配列)や行列(2次元配列)やそれ以上の多次元配列に詰めたのちに、まとめてドカっと計算するからです。

(まとめてドカっと計算するのが得意な GPU があるからこそ、これだけ Deep Learning が進展した、ともいえます)

そこで、今までで導出してきた交差エントロピーの計算をコンピュータで実装するときに備えて、 1次元配列 にしてみます。

プログラムコード上は単なる1次元配列ですが、これを配列の各値を成分にもつ ベクトル と見立てることにします。

正解ラベル tk を要素に含む ベクトルを t とすると、以下のような成分を含むベクトルになります。

t=(t1t2t3)

この場合、横に成分(=数字)をならべているので、 行ベクトル(または 横ベクトル) と呼びます。

予測値 yk も同様に y として 行ベクトル にあらわすと

y=(y1y2y3)

となります。

さらに、交差エントロピーの計算の際、 y の成分は 対数 log をとることになるので、 y の成分に log をとったものを yl と定義すると、以下のようになります。

yl=(logy1logy2logy3)

ここで 交差エントロピー E を思い出してみます。

 E=k=1Ktklogyk =(t1logy1+t2logy2+t3logy3) 

この式にあらわれる (t1logy1+t2logy2+t3logy3) をよく見てみましょう。これは、ベクトル t と ベクトル yl のドット積(内積)となっているのがわかります。

ドット積(内積)は同じ添え字の成分どうしの積の足し算です。

 E= tyl =(t1logy1+t2logy2+t3logy3) 

1つ注意したい点は、ベクトルの場合は 成分どうしの積の足し算と定義すればよいですが、ベクトルではなく、行列(2次元配列)どうしのドット積を計算するときには、行列の形状を意識しなければいけません。

たとえば、縦横 2×3 の形状をもつ行列 $(123 456 )3 \times 2(78 910 1112 )$ のドット積

(123 456 )(78 910 1112 )

は、以下のように計算します。

左側の行列の1行目の横一列と、右側の行列の1列目の縦一列の成分どうしの積を足していきます。

次は左側の行列の2行目と、右側の行列の1列目の成分どうしの積を足す、、、以降同様に計算していきます。

このように順に計算していくと結果は以下のようになります。

(123 456 )(78 910 1112 )=(1×7+2×9+3×111×8+2×10+3×12 4×7+5×9+6×114×8+5×10+6×12) =(5864 139154 )

この例からわかる通り縦横 2×3 の形状をもつ行列と 縦横 3×2 の形状をもつ の行列のドット積の結果は 2×2 の行列となります。

つまり m×nn×l のドット積の形状は m×l となります。
またドット積を計算するには、左側の行列の行数と、右側の行列の列数が一致している必要があります。

さて、行列のドット積の計算の仕方を見たところで、さきほどのベクトル同士のドット積を再確認しましょう。

正解ラベルを示す行ベクトルを t と、予測値に log をとった行ベクトル yl はそれぞれ以下のとおりでしたが、

t=(t1t2t3)

yl=(logy1logy2logy3)

さきほどの行列のドット積ルールにしたがって計算しようとすると、横一列並んでいる形状をしている行ベクトル同士の計算はできないことがわかります。

つまり、

(t1t2t3)(logy1logy2logy3)

はこのままでは計算できないということになります。
つまり、この2つの行ベクトルを行列とみなすと、どちらも形状が 1×3 となっています。

ですので、ドット積ができる行列形状である m×nn×l のカタチにするには、ベクトル yl を行ベクトル(横ベクトル)から列ベクトル(縦ベクトル)にすればよさそうです。

yl の成分の行と列を入れ替えた列ベクトル ylT は以下のようになります。

(T は転置を意味します。転置とはある行列の成分の列と縦を入れ)替えた行列です。

ylT=(logy1 logy2 logy3)

これで、ドット積の作法で計算することができるようになりました。

さきほどの、ドット積を使った交差エントロピーの計算式でみてみると、

 E= tylT =(t1t2t3)(logy1 logy2 logy3) =(t1logy1+t2logy2+t3logy3) 

これで、交差エントロピーを行列の計算として求めることができました。

(ちなみに、ベクトル同士のドット積は内積と同じなので計算結果はスカラー(数値)になります。)

今回はいかがでしたでしょうか

冒頭でもふれたとおり、データをベクトルや行列に見立ててドット積を計算したのは、1件ずつ計算をしてループさせるような方式よりも、ベクトルや行列にデータをまとめてイッキに計算したほうが GPU など並列計算が得意な環境では圧倒的に効率が良いためです。

ベクトルや行列にするとコンピューター(とりわけ GPU)との相性がよく計算効率・スピードを高める効果が期待できるからこそこのようなテクニックを用いていますますので、それこそが重要であり、それ以上の数学的な意味・意義はそんなに考えなくてよいのかなというところでしょうか。

それでは、また次回お会いしましょう!


参考文献
https://blog.qualiteg.com/books/

Read more

AI時代のデータ漏洩防止の要諦とテクノロジー:第1回 AI DLPとPROXY

AI時代のデータ漏洩防止の要諦とテクノロジー:第1回 AI DLPとPROXY

こんにちは!本日はAI時代のデータ漏洩防止について、とくにその通信技術面に焦点をあてつつ、AIセキュリティにどのように取り組んでいくべきか、解説いたします。 1. はじめに 生成AIの急速な普及により、企業のデータガバナンスは新たな局面を迎えています。ChatGPTやClaudeといった大規模言語モデル(LLM)は、業務効率を飛躍的に向上させる一方で、意図しない機密情報の漏洩という深刻なリスクをもたらしています。 従業員が何気なく入力した顧客情報や営業秘密が、AIサービスの学習データとして使用される可能性があることを、多くの組織はまだ十分に認識していません。従来のDLP(Data Loss Prevention)ソリューションは、メールやファイル転送を監視することには長けていましたが、リアルタイムで行われるWebベースのAIチャットやAIエージェントとの対話で発生しうる新しい脅威には対応できていないのが現状です。 本記事では、AI時代のデータ漏洩防止において中核となる技術、特にHTTPS通信のインターセプトとその限界について、技術的な観点から詳しく解説します。プロキシサーバー

By Qualiteg プロダクト開発部, Qualiteg コンサルティング
LLM推論基盤プロビジョニング講座 第5回 GPUノード構成から負荷試験までの実践プロセス

LLM推論基盤プロビジョニング講座 第5回 GPUノード構成から負荷試験までの実践プロセス

こんにちは!これまでのLLM推論基盤プロビジョニング講座では、推論速度の定義、リクエスト数見積もり、メモリ消費量計算、推論エンジン選定について詳しく解説してきました。 今回は、残りのステップである「GPUノード構成見積もり」「負荷試験」「トレードオフ検討」について一気に解説し、最後に実際のサーバー構成例をご紹介します。 STEP5:GPUノード構成見積もり GPUメモリから考える同時リクエスト処理能力 LLMサービスを構築する際、どのGPUを何台選ぶかは非常に重要な決断です。今回はLlama 8Bモデルを例に、GPUメモリ容量と同時リクエスト処理能力の関係を見ていきましょう。 GPUメモリの使われ方を理解する ここは復習となりますが、 LLM推論においてGPUメモリは主に2つの用途で消費されます 1. モデル重みデータ: LLMモデル自体を格納するためのメモリ 2. KVキャッシュ: ユーザーとの対話コンテキストを保持するための一時メモリ Llama 8Bを16ビット精度で実行する場合、モデル重みデータは約16GBのメモリを占めます。これは固定的なメモリ消

By Qualiteg コンサルティング
発話音声からリアルなリップシンクを生成する技術 第2回:AIを使ったドリフト補正

発話音声からリアルなリップシンクを生成する技術 第2回:AIを使ったドリフト補正

こんにちは! 前回の記事では、当社のMotionVoxで使用している「リップシンク」技術について、wav2vecを用いた音声特徴量抽出の仕組みを解説しました。音声から正確な口の動きを予測するための基礎技術について理解いただけたかと思います。 今回は、その続編として、リップシンク制作における重要な技術的課題である「累積ドリフト」に焦点を当てます。wav2vecで高精度な音素認識ができても、実際の動画制作では複数の音声セグメントを時系列に配置する際、わずかなタイミング誤差が蓄積して最終的に大きなずれとなる現象が発生します。 本記事では、この累積ドリフトのメカニズムと、機械学習を活用した最新の補正技術について、実際の測定データを交えながら詳しく解説していきます。前回のwav2vecによる特徴抽出と今回のドリフト補正技術を組み合わせることで、MotionVoxがどのように高品質なリップシンクを実現しているのか、その全体像が見えてくるはずです。 累積ドリフトとは何か 基本概念 累積ドリフトとは、個々の音声セグメントが持つ微小なタイミング誤差が、時間の経過とともに蓄積していく現象で

By Qualiteg 研究部
AIエージェント時代の新たな番人「ガーディアンエージェント」とは?

AIエージェント時代の新たな番人「ガーディアンエージェント」とは?

こんにちは!今日は先日ガートナーが発表したガーディアンエージェントについて解説します ガートナーの公式定義 ハイプカーブで有名なガートナーは2025年6月に、ガーディアンエージェントに関する見解を発表しました。ガーディアン・エージェントとは、AIとの安全で信頼できるやりとりを支援するために設計されたAIベースのテクノロジです。 ざっくりいうと、 「AIエージェントが来るよ」と予言したガートナー社は、次は、「ガーディアンエージェントが来るよ」と予言しました。なぜガーディアンエージェントが来るのでしょうか?本稿では、そのあたりを考察していきたいと思います。 なぜ今、AIの「監視役」が必要なのか 2025年、私たちは本格的なAIエージェント時代の入り口に立っています。AIが単なるツールから、自律的に判断し行動する「エージェント」へと進化する中で、新たな課題が浮上しています。 従来のAIとエージェント型AIの違い さて、ガーディアンエージェントが必要になる理由として、生成AI(以後AIと呼びます)の急速な進化があげられます。従来のAIとエージェント型AIの違いを思い出

By Qualiteg コンサルティング