[AI数理]徹底的に交差エントロピー(4)

[AI数理]徹底的に交差エントロピー(4)

おはようございます!(株) Qualiteg 研究部です。

今回は、多値分類用の交差エントロピーを計算していきたいと思います!


5章 多値分類用 交差エントロピーの計算 (データ1件対応版)

まず 交差エントロピー関数(標本データ1件ぶんバージョン) を再掲します。

$$
\ - \log L=\sum_{k=1}^{K} t_{k} \log y_{k} \tag{4.3、再掲}
$$

$$
t_{k} :頻度, y_{k}:確率
$$

式 \((4.3)\) の 交差エントロピー は 1件の標本データ に \(K\) 個の事象(が起こったか、起こらなかったか)が含まれていました。

サイコロでいえば、1回試行したときに \(K=6\) 通りの目の出方があるということです。それぞれの変数は \(y_{k} :\) 確率、 \(t_{k} :\) 頻度, となりました。

さて、これまでの過程をふまえて、
ここからは、確率 の頭から 分類問題 の頭に切り替えていきたいと思います。

さて、ここで以下のようなニューラルネットワークのモデルを考えます。(モデルの詳細は重要ではないです)

このモデルは画像データを入力すると、その画像が「イヌ」である確率、「キツネ」である確率、「オオカミ」である確率をそれぞれ予測します。

そして、このモデルはまだ何も学習していない状態だとします。

この状態で、とりあえず「イヌ」の画像を入れてみたら、以下のようになりました。

何も学習していない状態なので、このモデルが計算した予測値も正解には遠いですが、「イヌ」に相当する予測値 \(y_{1}\) は \(0.33\)、「キツネ」に相当する予測値 \(y_{2}\) は \(0.32\)、「オオカミ」に相当する予測値 \(y_{3}\) は \(0.35\) となりました。

さて、ここから、このモデルが計算した予測値が正解である確率 \(L\) を考えてみると、この例では、「イヌ」が正解で「キツネ」と「オオカミ」は不正解であることがあらかじめわかっているので、

$$
\begin{aligned}
L = &y_{1}^{1} \cdot y_{2}^{0} \cdot y_{3}^{0}&
\
=&0.33^{1} \times 0.32^{0} \times 0.35^{0}&\
=&0.33&
\end{aligned}
$$

と計算することができます。
(\(0.33\) なので、まだダメなモデルですが、計算上はこうなります。)

このように「イヌ」は正解なので \(1\) 、「キツネ」と「オオカミ」は不正解なので \(0\) とすると、正解、不正解は 正解ラベル \(t_{k}\) 列として以下のように整理できます。

そこで、確率 \(L\) を \(y_{k}\) と \(t_{k}\) であらわすと、

$$
\begin{aligned}
L = &y_{1}^{t_{1}} \cdot y_{2}^{t_{2}} \cdot y_{3}^{t_{3}}&
\
=&\prod_{k=1}^3 y_{k}^{t_{k}} &\
\end{aligned}
$$

となります。これはサイコロの例でいう 1回の試行あたりの尤度 と同じ式になりますので、ここでもこの計算で導かれた確率を 尤度 と考えましょう。

さらにサイコロの例と同様に、さらに確率 \(L\) に対数をとって 対数尤度 の式を整理すると

$$
\begin{aligned}
\log L =&\log (y_{1}^{t_{1}} \cdot y_{2}^{t_{2}} \cdot y_{3}^{t_{3}}) & \
\
&対数の公式① 「\log ab = \log a + \log b」 より&\\
=&\log y_{1}^{t_{1}} + \log y_{2}^{t_{2}} + \log y_{3}^{t_{3}}&\
\\
&対数の公式② 「\log a^{b} = b \log a」 より&\\
=&t_{1} \log y_{1} + t_{2} \log y_{2} + t_{3} \log y_{3}&\
\
=&\sum_{k=1}^{3} t_{k} \log y_{k}&\
\
&t_{k}:正解ラベル、y_{k}:予測値&
\end{aligned}
$$

となります。

今回は 「イヌ」「キツネ」「オオカミ」の3つの分類でしたが、添え字 \(1\) ~ \(3\) を \(K\) に置き換えて \(\sum\) であらわすと、以下のようになります。

$$
\log L = \sum_{k=1}^{K} t_{k} \log y_{k} \tag{5.1} \
$$

$$
\begin{aligned}
&K:分類の数, t_{k}:正解ラベル, y_{k}:予測値&
\end{aligned}
$$

これが 対数尤度関数 となります。

サイコロの例でも確認済ですが、交差エントロピー \(E\) は対数尤度関数にマイナスをつけたものなので、

$$
E = - \log L
$$

$$
E = - \sum_{k=1}^{K} t_{k} \log y_{k} \tag{5.2}
$$

$$
\begin{aligned}
&K:分類の数, t_{k}:正解ラベル, y_{k}:モデルが計算した予測値&
\end{aligned}
$$

これで、学習時につかう 訓練データ 1件 あたりの交差エントロピー関数 \(E\) を定義することができました。

さっそく、 式 \((5.2)\) の交差エントロピー関数 \(E\) に以下のデータを再度つかって訓練データ1件ぶんの交差エントロピー誤差 を計算してみましょう。

$$
\begin{aligned}
\ E = &- \sum_{k=1}^{K} t_{k} \log y_{k} &\
&= - ( t_{1} \log y_{1} + t_{2} \log y_{2} + t_{3} \log y_{3}) & \
&= - ( 1 \cdot \log 0.33 + 0 \cdot \log 0.32 + 0 \cdot \log 0.35) \
&= -0.481486 \
\
&K:分類の数, t_{k}:正解ラベル, y_{k}:モデルが計算した予測値&
\end{aligned}
$$

この交差エントロピー誤差を損失関数として、損失関数が小さくなるようにモデルの重みパラメータを更新していくのが、基本的なニューラルネットワークの学習となります。

ちなみに、いまは以下のように訓練データ1件ぶんの学習で使う損失関数です。1件の入力データをニューラルネットワークに入力して得られた結果 \(y_{k}\) と正解ラベル \(t_{k}\) から誤差関数として交差エントロピー誤差を計算しました。

今回は、多値分類用交差エントロピーをデータ1件の場合で計算してみました。

次回は、これを N 件に拡張していきたいとおもいます。

それでは、また次回お会いしましょう!


参考文献
https://blog.qualiteg.com/books/


navigation

Read more

発話音声からリアルなリップシンクを生成する技術 第2回:AIを使ったドリフト補正

発話音声からリアルなリップシンクを生成する技術 第2回:AIを使ったドリフト補正

こんにちは! 前回の記事では、当社のMotionVoxで使用している「リップシンク」技術について、wav2vecを用いた音声特徴量抽出の仕組みを解説しました。音声から正確な口の動きを予測するための基礎技術について理解いただけたかと思います。 今回は、その続編として、リップシンク制作における重要な技術的課題である「累積ドリフト」に焦点を当てます。wav2vecで高精度な音素認識ができても、実際の動画制作では複数の音声セグメントを時系列に配置する際、わずかなタイミング誤差が蓄積して最終的に大きなずれとなる現象が発生します。 本記事では、この累積ドリフトのメカニズムと、機械学習を活用した最新の補正技術について、実際の測定データを交えながら詳しく解説していきます。前回のwav2vecによる特徴抽出と今回のドリフト補正技術を組み合わせることで、MotionVoxがどのように高品質なリップシンクを実現しているのか、その全体像が見えてくるはずです。 累積ドリフトとは何か 基本概念 累積ドリフトとは、個々の音声セグメントが持つ微小なタイミング誤差が、時間の経過とともに蓄積していく現象で

By Qualiteg 研究部
AIエージェント時代の新たな番人「ガーディアンエージェント」とは?

AIエージェント時代の新たな番人「ガーディアンエージェント」とは?

こんにちは!今日は先日ガートナーが発表したガーディアンエージェントについて解説します ガートナーの公式定義 ハイプカーブで有名なガートナーは2025年6月に、ガーディアンエージェントに関する見解を発表しました。ガーディアン・エージェントとは、AIとの安全で信頼できるやりとりを支援するために設計されたAIベースのテクノロジです。 ざっくりいうと、 「AIエージェントが来るよ」と予言したガートナー社は、次は、「ガーディアンエージェントが来るよ」と予言しました。なぜガーディアンエージェントが来るのでしょうか?本稿では、そのあたりを考察していきたいと思います。 なぜ今、AIの「監視役」が必要なのか 2025年、私たちは本格的なAIエージェント時代の入り口に立っています。AIが単なるツールから、自律的に判断し行動する「エージェント」へと進化する中で、新たな課題が浮上しています。 従来のAIとエージェント型AIの違い さて、ガーディアンエージェントが必要になる理由として、生成AI(以後AIと呼びます)の急速な進化があげられます。従来のAIとエージェント型AIの違いを思い出

By Qualiteg コンサルティング
LLM推論基盤プロビジョニング講座 第4回 推論エンジンの選定

LLM推論基盤プロビジョニング講座 第4回 推論エンジンの選定

こんにちは!前回までの講座では、LLMサービス構築に必要なリクエスト数の見積もりや、使用モデルの推論時消費メモリ計算について詳しく解説してきました。今回は7ステッププロセスの4番目、「推論エンジンの選定」について詳しく掘り下げていきます。 推論エンジンとは何か 推論エンジンとは、GPU上でLLMモデルの推論計算(テキスト生成)を効率的に行うために設計された専用のソフトウェアプログラムです。一般的なディープラーニングフレームワーク(PyTorch、TensorFlowなど)でも推論は可能ですが、実運用環境では専用の推論エンジンを使用することで、大幅なパフォーマンス向上とリソース効率化が期待できます。 推論エンジンは単なる実行環境ではなく、様々な最適化技術を実装しています。特定のモデルアーキテクチャに特化した最適化機能を実装したものや、推論速度の高速化に特化したもの、前回解説したKVキャッシュのメモリ効率化機能を備えたものなど、それぞれ特徴が異なります。そのため、自社で採用したLLMモデルや運用環境、要件に合致した推論エンジンを選定することが重要です。 推論エンジン選定のアプロ

By Qualiteg コンサルティング
発話音声からリアルなリップシンクを生成する技術 第1回:音素とwav2vec

発話音声からリアルなリップシンクを生成する技術 第1回:音素とwav2vec

こんにちは! 今日は当社のMotionVox でも実際に使っている「リップシンク」技術について総合的に解説してみたいとおもいます。 音声に合わせて自然な口の動きを生成するリップシンク技術は、AIアバターや3Dアニメーション制作においても重要な技術です。 本記事では、最新のディープラーニング技術を活用したリップシンク学習の基礎から実装まで、技術的な観点から詳しく解説します。 1. リップシンク学習の基礎概念 1.1 問題設定 リップシンク学習とは、音声データから対応する口の動きを予測する回帰問題ととらえることができます f: 音声特徴量(t) → 口の動きパラメータ(t) この問題のコアは 音韻(音の特徴)と視素(視覚的な口の形)の対応関係を学習する ことにあります。 1.2 音韻-視素マッピングの複雑性 ただし! 人間の発話における音と口の形の関係は、単純な1対1マッピングではないんです。 同じ音でも文脈で変化 「あ」の発音でも: - 「か」の後の「あ」→ 口がやや狭めから開く - 「ん」の後の「あ」→ 口が閉じた状態から大きく開く 調音結合

By Qualiteg 研究部, Qualiteg コンサルティング