[自作日記9] AI研究用GPUマシンパーツと組み立て開始!

[自作日記9] AI研究用GPUマシンパーツと組み立て開始!


昨日、秋葉原で合計41.5万円分のGPUマシンのパーツを購入してきましたのでご報告します!

GPUマシンパーツ

AI用研究用GPUマシンパーツ一式

早速、組み立てていきます!

組み立てに使う工具

周辺パーツは別に、以下のような工具があると便利です

項目 使いどころ、Tips
プラスドライバー普通サイズ ケースの組み立てで使用。
マイナスドライバー ケースの組み立てで使用。精密ドライバーよりは大きいが、通常サイズより少し小さめのもの。
静電気防止手袋 組み立てで必須。手にフィットするもの。
ねじつかみようピンセット ネジをネジ穴にいれるときに、ネジをつまんでおくのに便利。指が入りにくい場所などに。
ラジオペンチ それほど出番はなさそうだが、ネジ穴つぶしたとき対策などあると精神的におちつく。
ヘッドライト 頭にまくやつ。両手をつかって奥深くをみながら作業するときなど、視野を明るくしてくれて便利。
ライト 他のパーツの陰にかくれてしまうような奥深い部分の作業のとき、 ヘッドライトとあわせてあると便利。

では、さっそく組み立てを開始します!

STEP 1. PCケースに電源を装着

使用したケースは 【 Fractal Design Focus G white 】です

  • グラボサイズ:最長380mmのグラフィックス
  • ファン:大きなエアフローを最大限確保するために合計6箇所のファン配置(デフォルトで2基の120mm ファンをフロントに搭載。リアx1、トップx2、ボトムx1)
  • 5インチベイ:パネル前面に 2基の5インチベイ(防振対応ドライブベイ)
  • 2.5インチマウント:内部に 2.5インチマウント

電源ユニットをケースに設置する

電源ユニットは 【Seasonic製 80PLUS Titanium認証 PRIME TX ATX電源 PRIME-TX 850W】 です

  • まず電源ユニットをケースに設置します

電源ユニットの端子側はこのようになっており、M/B と書いてあるのはマザーボード接続用、CPU/PCI-E は CPUとPCI Express拡張ボード用の電源となっています。Peripheral と書いてあるのは SATA など周辺装置用の電源です。

まず、この電源ユニットをPCケースにねじ止めしていきましょう

PCケース前面にある5インチベイにSATAリムーバルケースを設置

私のマシンはちょっと欲張りして、デュアルブートができるようにしようとしているので、デュアルブート用のSSDを収納する、SATAリムーバルケースを設置します。

単にデュアルブートしたいだけなら、リムバールケースは不要なのですが、私は Ubuntu,Windows,FreeBSDなど複数のOSを切り替えようとおもっているため、このようにSSDを簡単に着脱できるようにしています。

リムーバルケースは 【OWLTECH 5.25インチベイ用ダイレクトリムーバルケース】を使用します。これを5インチベイに入れます。

5インチベイとに、リムーバルケースを入れる前に、PCケース側の5インチベイのフタをフロントパネルからはがす必要があります。このとき、ツメを背面からマイナスドライバー等つかって解除してはずしてやります。

その後、5インチベイ用のSATAリムーバルケースをフロント側から差し込みます。

リムーバルケースが5インチベイにおさまったら今度は信号ケーブルと電源コネクタを接続します。

今回使用するのは 2.5インチSSDなので、2.5インチの信号ケーブルを以下のように差し込みます。またSATA電源用コネクタを以下のように差し込みます。

つづいて、マザーボードまわりのセットアップをしていきましょう。

次の日記につづきます


navigation

Read more

ChatStream🄬でLlama-3-Elyza-JP-8B を動かす

ChatStream🄬でLlama-3-Elyza-JP-8B を動かす

こんにちは、本日は Llama-3-Elyza-JP-8B を使ってみました。 昨日 2024年6月26日に発表(https://prtimes.jp/main/html/rd/p/000000046.000047565.html)された Llama-3-Elyza-JP-8B は 70B 版では「GPT-4」を上回る性能の日本語LLMといわれています。 今回、当社でも Playground 環境に Llama-3-Elyza-JP-8B を搭載して試してみましたのでご紹介します。 70B(700億パラメータ)版は GPT-4 を上回るとのことですので、8B(80億パラメータ)版はGPT-3.5 と比較してみることにいたしました。 (性能比較は https://note.com/elyza/n/n360b6084fdbd の記事に詳しく書いてあります。) AWQ量子化版を使用してみる 今回は、A4000

By Qualiteg プロダクト開発部
[AI新規事業創出]Qualitegセレクション:アイディア創造編①Qualiteg式オンラインブレストの活用術

[AI新規事業創出]Qualitegセレクション:アイディア創造編①Qualiteg式オンラインブレストの活用術

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。 今日は私のお気に入りのブレスト方法である「Qualiteg式オンラインブレスト」の活用術についてお話ししたいと思います。 場所を変えて気分を変えても良いアイディアは生まれない!? よく、「金曜日は1日ブレストしよう!」という上司の掛け声とともに、いつもと違う雰囲気なら良いアイディアも出るかもしれないといってホテルの会議室などを予約されて1日缶詰でブレストしたが、期待する結果が出なかったとおっしゃるクライアントが非常に多いです。 ブレインストーミングは複数の参加者が自由にアイデアを出し合うことで、新しい発想や解決策を見つける手法です。 批判や評価を一時的に排除し、量を重視して多くのアイデアを集めることが目的です。1950年代に広告業界で生まれたこの手法は

By Join us, Michele on Qualiteg's adventure to innovation
[AI新規事業創出]Qualitegが考える、アイディア創造フレームワークを利活用する理由

[AI新規事業創出]Qualitegが考える、アイディア創造フレームワークを利活用する理由

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。 アイディア創造を行う際に皆さんどのようなステップで検討されていますか?多くの企業様のコンサルティングをさせていただいている中で、最も多いのが、「突然のブレスト」ですが、どのような事業を行いたいか=誰に何を売っていきたいのかを最初に考えずに思い付きのままに意見を出し合い、結果的に無駄な時間を過ごしてしまい良いアイディアが出なかったとおっしゃる方も多いです。 本日はアイディア創造は思い付きではなく、きちんとフレームワークを利活用すべしと考えるQualitegのメソッドをお伝えしたいと思います。 まず、初めに行うことは 「誰に商品やサービスを提供したいか」を考えることです。 ターゲットユーザーはどのようなことを考えているかを理解し、仮説課題やニーズの確からしさ

By Join us, Michele on Qualiteg's adventure to innovation
推論速度を向上させる Speculative Decoding(投機的デコーディング)とは

推論速度を向上させる Speculative Decoding(投機的デコーディング)とは

こんにちは Qualiteg 研究部です。 投機的デコーディングとは何か? 投機的デコーディングは、大規模言語モデル(LLM)の推論速度を向上させる技術です。 たいていのモデルを1.4~2.0倍程度、高速化できることが報告されています。 このアプローチでは、小さなモデル(ドラフトモデル)を使用して初期の予測を行い、その結果を大きなモデル(ターゲットモデル)が検証することで、全体の推論プロセスを高速化します。 ざっくりいうと、 大きなモデルは計算負荷も高く計算速度も遅いので、まず、小さなモデルで高速に計算したあとで、その計算結果をうまくつかって大きなモデルでの計算負荷をさげ、スピードを向上させようというアイデアです。 基本的に大きなモデルと、小さなモデルはサイズ以外は基本的にまったく同じネットワーク構造をしていることが前提となります。 たとえば 70Bの Llama3 と 8B の Llama3 を組み合わせてつかうイメージです。 当然70B の Llama3 の推論計算のほうが 8B よりも重たくなりますので、小さい8BのLlama3 で先回りして推論計算することで

By Qualiteg 研究部