GPUマシン自作

[自作日記9] AI研究用GPUマシンパーツと組み立て開始！

Qualiteg Boot Camp

— 3 min read
[自作日記9] AI研究用GPUマシンパーツと組み立て開始！


昨日、秋葉原で合計41.5万円分のGPUマシンのパーツを購入してきましたのでご報告します！

GPUマシンパーツ

AI用研究用GPUマシンパーツ一式

早速、組み立てていきます！

組み立てに使う工具

周辺パーツは別に、以下のような工具があると便利です

項目 使いどころ、Tips
プラスドライバー普通サイズ ケースの組み立てで使用。
マイナスドライバー ケースの組み立てで使用。精密ドライバーよりは大きいが、通常サイズより少し小さめのもの。
静電気防止手袋 組み立てで必須。手にフィットするもの。
ねじつかみようピンセット ネジをネジ穴にいれるときに、ネジをつまんでおくのに便利。指が入りにくい場所などに。
ラジオペンチ それほど出番はなさそうだが、ネジ穴つぶしたとき対策などあると精神的におちつく。
ヘッドライト 頭にまくやつ。両手をつかって奥深くをみながら作業するときなど、視野を明るくしてくれて便利。
ライト 他のパーツの陰にかくれてしまうような奥深い部分の作業のとき、 ヘッドライトとあわせてあると便利。

では、さっそく組み立てを開始します！

STEP 1. PCケースに電源を装着

使用したケースは　【 Fractal Design Focus G white 】です

  • グラボサイズ：最長380mmのグラフィックス
  • ファン：大きなエアフローを最大限確保するために合計6箇所のファン配置(デフォルトで2基の120mm ファンをフロントに搭載。リアx1、トップx2、ボトムx1)
  • 5インチベイ：パネル前面に 2基の5インチベイ(防振対応ドライブベイ)
  • 2.5インチマウント：内部に 2.5インチマウント

電源ユニットをケースに設置する

電源ユニットは 【Seasonic製 80PLUS Titanium認証 PRIME TX ATX電源 PRIME-TX 850W】 です

  • まず電源ユニットをケースに設置します

電源ユニットの端子側はこのようになっており、M/B と書いてあるのはマザーボード接続用、CPU/PCI-E は CPUとPCI Express拡張ボード用の電源となっています。Peripheral と書いてあるのは SATA など周辺装置用の電源です。

まず、この電源ユニットをPCケースにねじ止めしていきましょう

PCケース前面にある5インチベイにSATAリムーバルケースを設置

私のマシンはちょっと欲張りして、デュアルブートができるようにしようとしているので、デュアルブート用のSSDを収納する、SATAリムーバルケースを設置します。

単にデュアルブートしたいだけなら、リムバールケースは不要なのですが、私は Ubuntu,Windows,FreeBSDなど複数のOSを切り替えようとおもっているため、このようにSSDを簡単に着脱できるようにしています。

リムーバルケースは 【OWLTECH 5.25インチベイ用ダイレクトリムーバルケース】を使用します。これを5インチベイに入れます。

5インチベイとに、リムーバルケースを入れる前に、PCケース側の５インチベイのフタをフロントパネルからはがす必要があります。このとき、ツメを背面からマイナスドライバー等つかって解除してはずしてやります。

その後、5インチベイ用のSATAリムーバルケースをフロント側から差し込みます。

リムーバルケースが5インチベイにおさまったら今度は信号ケーブルと電源コネクタを接続します。

今回使用するのは 2.5インチSSDなので、2.5インチの信号ケーブルを以下のように差し込みます。またSATA電源用コネクタを以下のように差し込みます。

つづいて、マザーボードまわりのセットアップをしていきましょう。

次の日記につづきます

navigation

Read more

【解説】Tekken トークナイザーとは何か？ 〜 Mistral が採用する新世代トークナイザーの特徴

【解説】Tekken トークナイザーとは何か？ 〜 Mistral が採用する新世代トークナイザーの特徴

こんにちは！ 本日は、Tekkenについて解説いたします！ 皆さま Tekken と聞いて何を思い浮かべますか？ 格ゲーの鉄拳でしょうか？ 私は、昔プレイした Age of Empires に登場する鉄剣戦士を思い浮かべました🤗 ちょっと古いかもしれませんが、名作です！ さてつかみはこのくらいにして、、 LLMはご存じのとおり驚異的なスピードで進化しています。そんな中でひそかに注目されているのが、トークナイザーの改善です。 たとえば、Meta の Llama 系モデルのトークナイザーは Sentence Piece から BPE系へ進化するなど、LLM業界では従来よりも高効率なトークナイズ（テキスト分割）の方法を導入し始めています。 そして Mistral AI もまた、新たに「Tekken トークナイザー」という仕組みを採用し、大規模言語モデルの性能を底上げしています。 本記事では、Tekken トークナイザーの登場背景や技術的特徴、他のトークナイザーとの違い、さらには Mistral との関係などをわかりやすく解説していきます。 1. Tekken トーク

By Qualiteg プロダクト開発部
[AI新規事業創出]Qualitegオリジナル、アイディア評価、事業アイディア選定方法

[AI新規事業創出]Qualitegオリジナル、アイディア評価、事業アイディア選定方法

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。 はじめに AI技術の急速な発展は、スタートアップから大企業まで、あらゆるビジネスに新たな可能性をもたらしています。クライアントとの会話の中でも、AIを活用した革新的な事業アイディアに関する相談が増えています。 しかし、多くの企業が「素晴らしいアイディアを思いついた！」と興奮しながらも、そのアイディアを具体化し、成功に導くための方法論に悩んでいるのも事実です。特にAIを用いた事業展開においては、従来のビジネスモデルとは異なる視点が必要となるため、その難しさはさらに増します。 本記事では、Qualitegオリジナルのアイディア評価、事業アイディア選定方法について解説します。特に、AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、

By Join us, Michele on Qualiteg's adventure to innovation
日本語対応！Mistral Small v3 解説

日本語対応！Mistral Small v3 解説

こんにちは！ Mistral AIは2025年1月30日、新しい言語モデル「Mistral Small v3」を発表しました。このモデルは、24Bという比較的小規模なパラメータ数ながら、70B以上の大規模モデルに匹敵する性能を実現しています。また日本語対応も謳われており期待の高い小型モデルです！ https://huggingface.co/mistralai/Mistral-Small-24B-Instruct-2501 動画 こちら本ブログの解説動画もご覧いただけます😊 きわだってるのは、レイテンシー最適化 Mistral Small 3のめだった特徴は、その処理性能とレイテンシーの絶妙なバランスではないでしょうか。 公開されている以下の性能評価のグラフによると、トークンあたり約11ミリ秒という業界最速レベルのレイテンシーを達成しています。これは、Qwen-2.5 32Bの約15ミリ秒やGemma-2 27Bの約14ミリ秒と比較して、明確な優位性を示しています。さらに注目すべきは、GPT-4o Miniと比較しても、より低いレイテンシーで同等以上の性能を実現し

By Qualiteg プロダクト開発部
[vLLM] To use CUDA with multiprocessing, you must use the 'spawn' start method の対処法

[vLLM] To use CUDA with multiprocessing, you must use the 'spawn' start method の対処法

WSLで vLLM を使用するとき、 tensor parallel を使って複数枚のGPUで1つのLLMをサーブしようとしたとき以下のようなエラーが発生しがちです RuntimeError: Cannot re-initialize CUDA in forked subprocess. To use CUDA with multiprocessing, you must use the 'spawn' start method 遭遇するシーンとしてはvLLMの起動オプションに以下のようにテンソル並列化オプションを指定したときです。 --tensor-parallel-size 2 つまり、マルチプロセッシングでCUDA使うときは、 "fork"じゃなくて"spawn" 使ってね、というエラーです。 これを vLLM に教えるために、以下の2行目のように環境変数を設定してあげるとvLLMが "spawn" を使ってくれるようになります。 export

By Qualiteg プロダクト開発部