[自作日記7] AI用GPUの選定

[自作日記7] AI用GPUの選定

今回は、AIに適したグラフィックボード(GPU)の選定をします。

本編に行く前に、グラフィックボードとGPUの違いについて整理しておきましょう

グラフィックボードは、コンピューターで画像処理やAIの計算を担当する重要なハードウェアで パソコンのPCI Express のスロットに挿入して使用するのが一般的です。

一方 GPU はグラフィックボードの主要な構成要素の1つで、グラフィックボードは以下のようなコンポーネントで構成されています。

  1. GPUチップ - グラフィック処理の中心で、複雑な数学的計算を高速に実行します。
  2. VRAM(ビデオRAM) - GPUが直接アクセスする専用メモリで、ディープラーニングでは、パラメータ(重みやバイアス)や計算過程を保持する役割があり非常に高速に動作します。
  3. 冷却システム - GPUが生成する熱を効果的に放散するためのファンやヒートシンク。

グラフィックボードとGPUを同一視して書いている記事も多く、私たちもあまり厳密に分けて書いていないですが、実体としては↑のような感じですね。

さて、それでは Jun さんの買い物の続きをみていきましょう。


肉の万世本店はやっぱり最高でした。

2階でハンバーグを食べてきましたが、出世したら3階、4階のレストランも行ってみたい。あと、1階のパーコー麵にもチャレンジしてみたいです。麵が上下してるあのオブジェ?も楽しいですね。
(なぜか、いつも2階ばかり行ってしまうんですよね。)

おなかもいっぱいになったので、これから今日の目玉のGPUを買いに行きたいと思います。

とその前に、今まで買ったものを整理しておきます

だいたい12.5万円を使ったので、のこり32.5万円くらいあります。GPUは良いものを買えそうです!

GPUを買いにお店へ!

AIをやるなら、間違いなく NVIDIA の GPU です。

どれにしようかなー、と探し始めましたが、拍子抜けするくらい簡単に決まりました。

その理由は簡単。

ディープラーニング、とりわけLLMをやる場合に一番重要なのは VRAM の量つまりGPUのメモリ容量です。

そして、ここ秋葉原で売っているGPUは通常コンシューマー向けのGPUなので、VRAMの上限は決まっています。

そうです、 NVIDIA の GeForce 3090 か GeForce 4090 を搭載したグラフィックボードが VRAM 24 GBytes で最大なのです。つまりこのどちらかしか選択肢にないといってもいいでしょう。

この下のモデルになるといきなり VRAM が 16GBytes になってしまいます。

もともと、コンシューマ向けGPUというのは、3Dゲーム用途がほとんどであるため、24GBytes もVRAMがあれば十分ということなのでしょう。

ということで、もう3090か4090のどちらかで決めることにしました。

さて、この2つからの選択もほぼ迷いませんでした。

なぜなら、残りの資金が30万円弱だったのですが、4090のほうはのきなみ30万円以上の価格設定。残り資金を全部つかってしまったら電源など残りのパーツが買えません。

ということで、コンシューマ向けでメモリが一番多く、お値段も手が出るものという現実的な条件で、 GeForce 3090 搭載の以下のグラフィックボードを購入しました。

MSI SUPRIM X GeForce RTX 3090 Ti

約20万円で購入しました。今日一番高い買い物です。

買い出し用にコストコの巨大袋をもってきましたが、マザーボードの箱とグラボの箱ですでに、だいぶキツキツです。

三ツ矢サイダーの缶とくらべてわかるとおり箱がかなりでかく、高価なモノを買った感があります。

袋にはいってるのは、ざっとこんなかんじ。

コストコの袋に入ってるもの

胃袋に入ってるもの

万世コンボ+和食セット 約2千円

残金は 45-12.5-20 = 12.5 万円です。

いったん荷物を置きに会社に戻り、
残金で、残りのパーツである 電源、SSD、ケース を購入したいとおもいます。


今回はいかがでしたでしょうか。Jun さんは無事GPUをゲットできました。

次回は電源、SSD、ケースの購入をする予定です!お楽しみに!


navigation

Read more

ChatStream🄬でLlama-3-Elyza-JP-8B を動かす

ChatStream🄬でLlama-3-Elyza-JP-8B を動かす

こんにちは、本日は Llama-3-Elyza-JP-8B を使ってみました。 昨日 2024年6月26日に発表(https://prtimes.jp/main/html/rd/p/000000046.000047565.html)された Llama-3-Elyza-JP-8B は 70B 版では「GPT-4」を上回る性能の日本語LLMといわれています。 今回、当社でも Playground 環境に Llama-3-Elyza-JP-8B を搭載して試してみましたのでご紹介します。 70B(700億パラメータ)版は GPT-4 を上回るとのことですので、8B(80億パラメータ)版はGPT-3.5 と比較してみることにいたしました。 (性能比較は https://note.com/elyza/n/n360b6084fdbd の記事に詳しく書いてあります。) AWQ量子化版を使用してみる 今回は、A4000

By Qualiteg プロダクト開発部
[AI新規事業創出]Qualitegセレクション:アイディア創造編①Qualiteg式オンラインブレストの活用術

[AI新規事業創出]Qualitegセレクション:アイディア創造編①Qualiteg式オンラインブレストの活用術

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。 今日は私のお気に入りのブレスト方法である「Qualiteg式オンラインブレスト」の活用術についてお話ししたいと思います。 場所を変えて気分を変えても良いアイディアは生まれない!? よく、「金曜日は1日ブレストしよう!」という上司の掛け声とともに、いつもと違う雰囲気なら良いアイディアも出るかもしれないといってホテルの会議室などを予約されて1日缶詰でブレストしたが、期待する結果が出なかったとおっしゃるクライアントが非常に多いです。 ブレインストーミングは複数の参加者が自由にアイデアを出し合うことで、新しい発想や解決策を見つける手法です。 批判や評価を一時的に排除し、量を重視して多くのアイデアを集めることが目的です。1950年代に広告業界で生まれたこの手法は

By Join us, Michele on Qualiteg's adventure to innovation
[AI新規事業創出]Qualitegが考える、アイディア創造フレームワークを利活用する理由

[AI新規事業創出]Qualitegが考える、アイディア創造フレームワークを利活用する理由

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。 アイディア創造を行う際に皆さんどのようなステップで検討されていますか?多くの企業様のコンサルティングをさせていただいている中で、最も多いのが、「突然のブレスト」ですが、どのような事業を行いたいか=誰に何を売っていきたいのかを最初に考えずに思い付きのままに意見を出し合い、結果的に無駄な時間を過ごしてしまい良いアイディアが出なかったとおっしゃる方も多いです。 本日はアイディア創造は思い付きではなく、きちんとフレームワークを利活用すべしと考えるQualitegのメソッドをお伝えしたいと思います。 まず、初めに行うことは 「誰に商品やサービスを提供したいか」を考えることです。 ターゲットユーザーはどのようなことを考えているかを理解し、仮説課題やニーズの確からしさ

By Join us, Michele on Qualiteg's adventure to innovation
推論速度を向上させる Speculative Decoding(投機的デコーディング)とは

推論速度を向上させる Speculative Decoding(投機的デコーディング)とは

こんにちは Qualiteg 研究部です。 投機的デコーディングとは何か? 投機的デコーディングは、大規模言語モデル(LLM)の推論速度を向上させる技術です。 たいていのモデルを1.4~2.0倍程度、高速化できることが報告されています。 このアプローチでは、小さなモデル(ドラフトモデル)を使用して初期の予測を行い、その結果を大きなモデル(ターゲットモデル)が検証することで、全体の推論プロセスを高速化します。 ざっくりいうと、 大きなモデルは計算負荷も高く計算速度も遅いので、まず、小さなモデルで高速に計算したあとで、その計算結果をうまくつかって大きなモデルでの計算負荷をさげ、スピードを向上させようというアイデアです。 基本的に大きなモデルと、小さなモデルはサイズ以外は基本的にまったく同じネットワーク構造をしていることが前提となります。 たとえば 70Bの Llama3 と 8B の Llama3 を組み合わせてつかうイメージです。 当然70B の Llama3 の推論計算のほうが 8B よりも重たくなりますので、小さい8BのLlama3 で先回りして推論計算することで

By Qualiteg 研究部