GPUリッチと日本の現状

GPUリッチと日本の現状
NVIDIA H100

世界的なGPU不足が深刻化しており、特に高性能なグラフィックスプロセッシングユニット(GPU)の確保が困難な状況に直面しています。この不足は、AI研究開発をはじめとする多くのテクノロジー業界に大きな影響を及ぼしており、企業や研究機関の間で新たな競争が生まれています。

GPU不足の現状

「GPUが非常に不足しているため、当社の製品を使用する人が少ないほど良いです」「GPUが不足しているため、当社の製品の使用量が減ってくれると嬉しいです」との声が業界内で聞かれるほど、GPUの調達は困難を極めています。

イーロン・マスクは、GPUの入手困難さを「麻薬よりも取得が難しい」と形容しています。

米国のビッグテックやメガベンチャーでは、GPUを万単位で確保しており、一例として1万台のGPUを確保するには約600億円の投資が必要とされています。これらの企業は、「GPUリッチ」と呼ばれるほどに、NVIDIAのA100やH100などの高性能GPUを大量に所有しています。

man in black framed sunglasses holding fan of white and gray striped cards

GPUリッチの影響

このGPUリッチな環境は、米国内でのAI研究開発競争を加速させています。ベイエリアのトップAI研究者たちは、GPUへのアクセスを自慢し、それが彼らの職場選びに大きな影響を与え始めています。Metaなどの企業は、採用戦術としてGPUリソースを活用しており、豊富な資金力により高性能のGPUを大量に確保し、競争に勝ちに行く戦略を取っています。

日本の状況

一方、日本では、国策とも言える産業技術総合研究所(産総研)のABCI(AI Bridging Cloud Infrastructure)でさえ、新モデルのH100は保有している気配は無く、旧式のGPUしか保有できていない状態です。このような状況は、日本が国際競争において不利な立場に立たされていることを示しており、どう頑張っても、小粒な日本語LLMしか作れない可能性があります。

(そもそも、日本語の言語リソースが英語のそれよりもずっと少ないという課題もあります)

日本の戦い方

日本がこのGPUリッチな環境においてどのように競争していくべきかは、重要な課題となっています。私たちは日本の企業や研究機関は、限られたリソースの中で、高度に最適化されたアルゴリズム、効率的なデータ処理、そして創造的な問題解決戦略を発見していくことと信じています。また当社のようなLLMプラットフォーム企業をハブとして活用していただくことで、相互のパートナーシップが生まれ、新しい技術の開発において力を結集することができるのではないでしょうか。そのためのネットワーキングの支援、事例共有なども積極的に行っていきたいとおもいます。つまり、米国が力で戦っているのにたいして、日本は技と技の結集で戦うというわけです。

LLMスタートアップには依然厳しい

その「技」を担う重要なプレイヤーとして、LLMを研究しているベンチャー・スタートアップという存在を忘れてはいけないでしょう。

彼らはさらに深刻で、GPU Poor ともいえるべき状況ではないでしょうか。たとえば、NVIDIA A100(80GB)は1台300万円、H100(80GB)は600万円以上します。 大学発スタートアップなどがエクイティ調達しようとすると例えばシード期 Post Valuation で数億円。実際の調達額はせいぜい数千万円となり、いまの日本のスタートアップエコシステムでの調達額では、高性能GPUを数枚買ったら枯渇してしまいます。

a close up of a sign in the dark

この業界は、とにかく GPUありきなので、従来のAASのように小さく生んで大きく育てられるビジネスモデルとコスト構造が決定的に違いますが、なかなかそれを説明して正しく理解していただくのは難しいという話を聞きます。また、仮に数億円調達できても、数億円程度ではとても”大規模な”LLMをトレーニングすることはできません。GPUクラウド環境も割高で、そもそも、学習をまわしてもうまくいく保証はないので何百万円かけてトレーニングしても成果無しということもよく起こり、なかなか厳しい状況です。このままでは運よくスポンサーをみつけたスタートアップや大企業にM&Aされたスタートアップ以外は打席に立つ前に淘汰されてしまうとおもいます。それが競争といえば競争かもしれませんが、せめて打席に立つ(GPU資源は気軽に使える)チャンスが必要でしょう。AWS による支援プログラムなど太っ腹な救済策?もはじまっていますが、より多くの挑戦者が打席に立つためには、豊富なGPU資源に”気軽に”アクセスできる環境が必要であり、「GPU使用無償化」の国策に期待したいところであります。これはまったく他人事ではなく、私たちもトレーニングほどの資源は使用しないものの、推論環境に必要な GPU資源 の確保に苦慮しており、心を同じくしております。

All you all need is GPU! (^_-)


Read more

システムとcondaのC++標準ライブラリ(libstdc++)のバージョン違い問題による事象と対処法解説

システムとcondaのC++標準ライブラリ(libstdc++)のバージョン違い問題による事象と対処法解説

こんにちは! 先日、dlibをつかったPythonアプリケーション(conda環境で動作する)作っていたところ、以下のようなエラーに遭遇しました。 ImportError: /home/mlu/anaconda3/envs/example_env/bin/../lib/libstdc++.so.6: version `GLIBCXX_3.4.32' not found (required by /home/mlu/anaconda3/envs/example_env/lib/python3.10/site-packages/_dlib_pybind11.cpython-310-x86_64-linux-gnu.so) 「dlib_pybind11モジュールがGLIBCXX_3.4.32を要求してるけど、みつからない!」という感じのエラーですね。

By Qualiteg プロダクト開発部
LLM推論基盤プロビジョニング講座 第2回 LLMサービスのリクエスト数を見積もる

LLM推論基盤プロビジョニング講座 第2回 LLMサービスのリクエスト数を見積もる

こんにちは! 今回はLLM推論基盤プロビジョニング講座 第2回です! STEP2 LLMサービスへのリクエスト数見積もり それでは、早速、LLM推論基盤プロビジョニングの第2ステップである「リクエスト数見積もり」の重要性と方法を解説いたします。 LLMサービスを構築する際に必要となるGPUノード数を適切に見積もるためには、まずサービスに対して想定されるリクエスト数を正確に予測する必要があります。 リクエスト数見積もりの基本的な考え方 LLMサービスへの想定リクエスト数から必要なGPUノード数を算出するプロセスは、サービス設計において非常に重要です。過小評価すればサービス品質が低下し、過大評価すれば無駄なコストが発生します。このバランスを適切に取るための基礎となるのがリクエスト数の見積もりです。 想定リクエスト数の諸元 リクエスト数を見積もるための5つの重要な要素(諸元)をみてみましょう。 1. DAU(Daily Active Users): 1日あたりの実際にサービスを利用するユーザー数です。これはサービスの規模を示す最も基本的な指標となります。 2. 1日

By Qualiteg コンサルティング
Zoom会議で肩が踊る?自動フレーミング映像安定化とAIによる性能向上の可能性

Zoom会議で肩が踊る?自動フレーミング映像安定化とAIによる性能向上の可能性

こんにちは! 本日は、自動フレーミング映像の安定化に関するアルゴリズム・ノウハウを解説いたします 第1章 問題の背景と目的 バストアップ映像を撮影する際、特にオンラインミーティングやYouTubeなどのトーク映像では、人物がうなずく、首を振るなどの自然な動作をした際に「首まわりや肩がフレーム内で上下に移動してしまう」という現象がしばしば起こります。これは、多くの場合カメラや撮影ソフトウェアが人物の「目や顔を画面中央に保とう」とする自動フレーミング機能の働きに起因します。 撮影対象の人物が頭を下げた際に、映像のフレーム全体が相対的に上方向へシフトし、その結果、本来動いていないはずの肩の部分が映像内で持ち上がっているように見えてしまう現象です。 本稿では、この問題を撮影後の後処理(ポストプロセッシング)のみを用いて、高速、高い精度かつロバストに解決する手法をご紹介します。 前半では、従来のCV(コンピュータービジョン)の手法を使い高速に処理する方法をご紹介します。後半では、AIを使用してより安定性の高い性能を実現する方法について考察します。 第2章 古典手法による肩の上下

By Qualiteg 研究部
LLM推論基盤プロビジョニング講座 第1回 基本概念と推論速度

LLM推論基盤プロビジョニング講座 第1回 基本概念と推論速度

こんにちは! 本日は LLMサービスの自社構築する際の推論基盤プロビジョニング、GPUプロビジョニングについて数回にわけて解説いたします。 はじめに LLMの進化に伴い、ChatGPTやClaudeといったパブリックなLLMの活用は企業においても急速に広がってきました。しかし先進的な企業はこれらの汎用LLMに加えて、「領域特化型」「ドメイン特化型」といった専用LLMの構築へと歩みを進めています。こうした動きの背景には、企業固有の専門知識への対応力強化と情報セキュリティの確保という二つの重要なニーズがあります。 一般的なパブリックLLMでは対応できない企業固有の専門知識や機密情報の取り扱いが必要なケースが増えているため、自社LLMの構築や自社サーバーでの運用を検討する企業が急増しています。特に金融、医療、製造、法務といった専門性の高い領域では、業界特化型の独自LLMが競争優位性をもたらすと認識されています。 しかし、業界特化型のLLMを自社で運用することは簡単ではありません。自社運用を決断した場合、まず最初に取り組むべきは適切な推論環境の整備です。オンプレミス環境を構築するに

By Qualiteg コンサルティング