[自作日記7] AI用GPUの選定

[自作日記7] AI用GPUの選定

今回は、AIに適したグラフィックボード(GPU)の選定をします。

本編に行く前に、グラフィックボードとGPUの違いについて整理しておきましょう

グラフィックボードは、コンピューターで画像処理やAIの計算を担当する重要なハードウェアで パソコンのPCI Express のスロットに挿入して使用するのが一般的です。

一方 GPU はグラフィックボードの主要な構成要素の1つで、グラフィックボードは以下のようなコンポーネントで構成されています。

  1. GPUチップ - グラフィック処理の中心で、複雑な数学的計算を高速に実行します。
  2. VRAM(ビデオRAM) - GPUが直接アクセスする専用メモリで、ディープラーニングでは、パラメータ(重みやバイアス)や計算過程を保持する役割があり非常に高速に動作します。
  3. 冷却システム - GPUが生成する熱を効果的に放散するためのファンやヒートシンク。

グラフィックボードとGPUを同一視して書いている記事も多く、私たちもあまり厳密に分けて書いていないですが、実体としては↑のような感じですね。

さて、それでは Jun さんの買い物の続きをみていきましょう。


肉の万世本店はやっぱり最高でした。

2階でハンバーグを食べてきましたが、出世したら3階、4階のレストランも行ってみたい。あと、1階のパーコー麵にもチャレンジしてみたいです。麵が上下してるあのオブジェ?も楽しいですね。
(なぜか、いつも2階ばかり行ってしまうんですよね。)

おなかもいっぱいになったので、これから今日の目玉のGPUを買いに行きたいと思います。

とその前に、今まで買ったものを整理しておきます

だいたい12.5万円を使ったので、のこり32.5万円くらいあります。GPUは良いものを買えそうです!

GPUを買いにお店へ!

AIをやるなら、間違いなく NVIDIA の GPU です。

どれにしようかなー、と探し始めましたが、拍子抜けするくらい簡単に決まりました。

その理由は簡単。

ディープラーニング、とりわけLLMをやる場合に一番重要なのは VRAM の量つまりGPUのメモリ容量です。

そして、ここ秋葉原で売っているGPUは通常コンシューマー向けのGPUなので、VRAMの上限は決まっています。

そうです、 NVIDIA の GeForce 3090 か GeForce 4090 を搭載したグラフィックボードが VRAM 24 GBytes で最大なのです。つまりこのどちらかしか選択肢にないといってもいいでしょう。

この下のモデルになるといきなり VRAM が 16GBytes になってしまいます。

もともと、コンシューマ向けGPUというのは、3Dゲーム用途がほとんどであるため、24GBytes もVRAMがあれば十分ということなのでしょう。

ということで、もう3090か4090のどちらかで決めることにしました。

さて、この2つからの選択もほぼ迷いませんでした。

なぜなら、残りの資金が30万円弱だったのですが、4090のほうはのきなみ30万円以上の価格設定。残り資金を全部つかってしまったら電源など残りのパーツが買えません。

ということで、コンシューマ向けでメモリが一番多く、お値段も手が出るものという現実的な条件で、 GeForce 3090 搭載の以下のグラフィックボードを購入しました。

MSI SUPRIM X GeForce RTX 3090 Ti

約20万円で購入しました。今日一番高い買い物です。

買い出し用にコストコの巨大袋をもってきましたが、マザーボードの箱とグラボの箱ですでに、だいぶキツキツです。

三ツ矢サイダーの缶とくらべてわかるとおり箱がかなりでかく、高価なモノを買った感があります。

袋にはいってるのは、ざっとこんなかんじ。

コストコの袋に入ってるもの

胃袋に入ってるもの

万世コンボ+和食セット 約2千円

残金は 45-12.5-20 = 12.5 万円です。

いったん荷物を置きに会社に戻り、
残金で、残りのパーツである 電源、SSD、ケース を購入したいとおもいます。


今回はいかがでしたでしょうか。Jun さんは無事GPUをゲットできました。

次回は電源、SSD、ケースの購入をする予定です!お楽しみに!


navigation

Read more

AIエージェント時代の新たな番人「ガーディアンエージェント」とは?

AIエージェント時代の新たな番人「ガーディアンエージェント」とは?

こんにちは!今日は先日ガートナーが発表したガーディアンエージェントについて解説します ガートナーの公式定義 ハイプカーブで有名なガートナーは2025年6月に、ガーディアンエージェントに関する見解を発表しました。ガーディアン・エージェントとは、AIとの安全で信頼できるやりとりを支援するために設計されたAIベースのテクノロジです。 ざっくりいうと、 「AIエージェントが来るよ」と予言したガートナー社は、次は、「ガーディアンエージェントが来るよ」と予言しました。なぜガーディアンエージェントが来るのでしょうか?本稿では、そのあたりを考察していきたいと思います。 なぜ今、AIの「監視役」が必要なのか 2025年、私たちは本格的なAIエージェント時代の入り口に立っています。AIが単なるツールから、自律的に判断し行動する「エージェント」へと進化する中で、新たな課題が浮上しています。 従来のAIとエージェント型AIの違い さて、ガーディアンエージェントが必要になる理由として、生成AI(以後AIと呼びます)の急速な進化があげられます。従来のAIとエージェント型AIの違いを思い出

By Qualiteg コンサルティング
LLM推論基盤プロビジョニング講座 第4回 推論エンジンの選定

LLM推論基盤プロビジョニング講座 第4回 推論エンジンの選定

こんにちは!前回までの講座では、LLMサービス構築に必要なリクエスト数の見積もりや、使用モデルの推論時消費メモリ計算について詳しく解説してきました。今回は7ステッププロセスの4番目、「推論エンジンの選定」について詳しく掘り下げていきます。 推論エンジンとは何か 推論エンジンとは、GPU上でLLMモデルの推論計算(テキスト生成)を効率的に行うために設計された専用のソフトウェアプログラムです。一般的なディープラーニングフレームワーク(PyTorch、TensorFlowなど)でも推論は可能ですが、実運用環境では専用の推論エンジンを使用することで、大幅なパフォーマンス向上とリソース効率化が期待できます。 推論エンジンは単なる実行環境ではなく、様々な最適化技術を実装しています。特定のモデルアーキテクチャに特化した最適化機能を実装したものや、推論速度の高速化に特化したもの、前回解説したKVキャッシュのメモリ効率化機能を備えたものなど、それぞれ特徴が異なります。そのため、自社で採用したLLMモデルや運用環境、要件に合致した推論エンジンを選定することが重要です。 推論エンジン選定のアプロ

By Qualiteg コンサルティング
発話音声からリアルなリップシンクを生成する技術 第1回:音素とwav2vec

発話音声からリアルなリップシンクを生成する技術 第1回:音素とwav2vec

こんにちは! 今日は当社のMotionVox でも実際に使っている「リップシンク」技術について総合的に解説してみたいとおもいます。 音声に合わせて自然な口の動きを生成するリップシンク技術は、AIアバターや3Dアニメーション制作においても重要な技術です。 本記事では、最新のディープラーニング技術を活用したリップシンク学習の基礎から実装まで、技術的な観点から詳しく解説します。 1. リップシンク学習の基礎概念 1.1 問題設定 リップシンク学習とは、音声データから対応する口の動きを予測する回帰問題ととらえることができます f: 音声特徴量(t) → 口の動きパラメータ(t) この問題のコアは 音韻(音の特徴)と視素(視覚的な口の形)の対応関係を学習する ことにあります。 1.2 音韻-視素マッピングの複雑性 ただし! 人間の発話における音と口の形の関係は、単純な1対1マッピングではないんです。 同じ音でも文脈で変化 「あ」の発音でも: - 「か」の後の「あ」→ 口がやや狭めから開く - 「ん」の後の「あ」→ 口が閉じた状態から大きく開く 調音結合

By Qualiteg 研究部, Qualiteg コンサルティング
LLM推論基盤プロビジョニング講座 第3回 使用モデルの推論時消費メモリ見積もり

LLM推論基盤プロビジョニング講座 第3回 使用モデルの推論時消費メモリ見積もり

こんにちは!前回はLLMサービスへのリクエスト数見積もりについて解説しました。今回は7ステッププロセスの3番目、「使用モデルの推論時消費メモリ見積もり」について詳しく掘り下げていきます。 GPUメモリがリクエスト処理能力を決定する LLMサービス構築において、GPUが同時に処理できるリクエスト数はGPUメモリの消費量によって制約されます。 つまり、利用可能なGPUメモリがどれだけあるかによって、同時に何件のリクエストを処理できるかがほぼ決まります。 では、その具体例として、Llama3 8B(80億パラメータ)モデルをNVIDIA RTX A5000(24GB)にロードするケースを考えてみましょう。 このGPUには24GBのGPUメモリがありますが、すべてをリクエスト処理に使えるわけではありません。最初にモデル自体が一定量のメモリを消費し、残りの領域で実際のリクエスト処理を行います。 GPUメモリ消費の二大要素 GPUの消費メモリ量は主に以下の2つの要素によって決まります 1. モデルのフットプリント LLMをGPUに読み込んだときに最初に消費されるメモリ

By Qualiteg コンサルティング