AI数理

AI数理

AI数理は Minecraftの夢を見る?

みなさまこんにちは、(株) Qualiteg 研究部です。 LLM関連の論文を読んでいると、なぞの数式、なぞの記号がたくさんでてきて、めまいがすることはないでしょうか？ 私も学生時代ニューラルネットを研究していましたが、それを理解するための数学的背景がミルフィーユのように多層になっており、面食らった記憶があります。 現代のLLMは、パーセプトロンや初期のニューラルネットの研究にくらべると、いや、分析系のディープラーニングベースAIの頃からみてもミルフィーユの層が10倍くらい厚く、LLMの仕組みを数学的に理解するには、その何重、何百という数学的理論基盤を理解しなければいけません。 （LLMを利用するだけなら、ミルフィーユをまるごと食べて「おいし～」って言っている状態ですが、じゃあ、その多層（の数理）になったミルフィーユを１層ずつ理解しながら作っていくのは食べるのにくらべてどれだけ大変か、ですね。） このように、LLMの実現には、機械学習の基礎編としての確率統計の話や、クラシックな機械学習の理論から、ディープラーニングで使う微分や離散化、RNN,LSTMなどを経てそこからトラ