(株)Qualiteg - GPU - Qualiteg Blog (Page 4)

GPUマシン自作

[自作日記11] マザーボードとケースの配線をする

今回は、マザーボードをケースに装着し各種配線を行っていきます！ 1. スペーサーネジをはめるケースにはスペーサーネジというものが付属しています。これをケースにハメていきます。スペーサーはマザーボードを　”浮かせた”　状態で固定するためのものです。このスペーサーをケースにあいたネジ穴にはめていきます。ケースにはネジ穴があらかじめあいており、ネジ穴にはヒントが書いてあります。今回のケースには ATX と Mini ATX のフォームファクタのマザーボードに対応しており、ネジ穴は、どのフォームファクタ向けのネジ穴なのかがヒントとして書いてあります。フォームファクタとは PCケースのサイズや形状の規格を指し、主にマザーボードとの互換性に基づいて定義されます。主なフォームファクタには以下のようなものがあります： 1. ATX: * 標準ATXは、最も一般的なフォームファクタで、多くの拡張スロットと豊富な接続ポートを備えています。サイズはおおよそ30.5cm x 24.4cmです。 * Micro-ATX（マイクロATX）は、標準ATXよりも小さく、サ

GPUマシン自作

[自作日記10] マザーボードにCPU、メモリ、SSDを装着する

マザーボードまわりをセットアップしていきます 1.マザーボード開封の儀今回購入したマザーボードは【ASRock Z690 Steel Legend WiFi 6E/D5】です。早速開封していきましょう！箱をあけると、ケーブル類とマニュアル類が上段の小箱にはいっています。つぎに、中箱をあけます。おーマザーボードが見えてきました美しい！ワクワクしてきました～写真左側中央部は LGA 1700 ソケットにカバーがかかった状態です。ここにCPUを設置します。また LGA 1700 ソケットの上側にはメモリモジュールを挿入する DDR5 のメモリスロット4つがみえます。そして水平中央付近に SSD を設置する M.2 スロットがあります。（写真ではヒートシンクがありますが、その下にスロットがあります）そこからやや右側にグラボを挿す PCI Express x16 スロットがあります。ざっとこんな感じで主要部品を設置していきましょう。 2.マザーボードの配線図はあらかじめ印刷しておくと便利付属のマニュアルに配線図がついている

GPUマシン自作

[自作日記9] AI研究用GPUマシンパーツと組み立て開始！

昨日、秋葉原で合計41.5万円分のGPUマシンのパーツを購入してきましたのでご報告します！ GPUマシンパーツ * マザーボード: ASRock Z690 Steel Legend 約4万円 * メモリ: Crucial デスクトップ用 DDR5 32G x 2 = 約3万円 * CPU: Intel Core i7 12700 約5万円 * GPU:MSI SUPRIM X GeForce RTX 3090 Ti 約20万円 * SSD:SAMSUNG 980 PRO 2T 約3万円 * 電源:850W OWLTECH　PC電源 850W /ATX /Titanium 約4.5万円 * ケース:Fractal

GPUマシン自作

[自作日記8] 電源、SSD、ケースは？

今日は電源、SSD、ケースの購入です！ Junです。残りは電源とSSD、ケースをゲットすれば一通り揃いそうです。また、置手紙をみてみます。 ⑥ SSD は 1T以上。 ⑦ 電源は 800W 以上、 80Plus Titanium ⑧ ケースはグラボがちゃんと入ることを確認すること！ SSDの選定 SSDは、1T以上ということで、　3万円の SAMSUNG 980 PRO 2T　を購入。電源の選定電源装置は 800W 以上ということで 850W OWLTECH　PC電源 850W /ATX /Titanium　PRIMETX850S を 4.5万円で購入しました。ケースの選定さて、残るはケースです。 ⑧ ケースはグラボがちゃんと入ることを確認すること！この意味がよくわからなかったので、店員さんに相談することにしました。今回は ATX サイズのケースを購入する予定ですが、 ATX

GPUマシン自作

[自作日記7’] コラム:コンシューマ用GPUとプロ用GPUの違い

今回は、コンシューマー用GPUは本格的なAI計算に使用できるのか、プロ用GPUとの違いは何か。比較も交えながら考えてみたいと思います。私たちAI ベンチャー（ベンチャーじゃなくても）でGPUを使うシーンは3つあります。 1. AI研究：最新モデルや論文のちょっとしたお試し小規模な学習。小規模な推論。 2. 学習：いわゆるディープラーニングのトレーニング。長いと数週間、数か月におよぶ。 3. 商用運用：お客様が使用するサービスのバックエンドとしての AIエンジンの商用運用今回 Jun さんが作ろうとしている GPU マシンは　1.AI研究のためのものです。というのも、たとえば、コンシューマー用GPUやコンシューマー用の自作パソコンの場合は長時間にわたるディープラーニングのトレーニングには向いていません。やってる人もたまにみかけますが、心配になります。なぜなら、学習させたいネットワークにもよりますが、１回の学習にかかる時間は数日から数週間、長いと数か月にわたります。その間、GPUをドライブするソフトウェアが安定

ChatStream Guide

[ChatStream] キューイングシステムと同時処理制限

こんにちは！ (株)Qualiteg プロダクト開発部です！本稿では、 ChatStream のキューイングシステムについてご説明いたします！キューイングシステムとは ChatStream は多数同時アクセス要求が来たときに、リクエストをキューイングし、同時に実行できる文章生成の数を制限することができます。 GPU や CPU の性能に応じて、文章生成処理の同時実行数を制限することで、良好な応答性能を得ることができます。また同時実行数を超えるリクエストがあった場合はリクエストをキューイング（待ち行列に追加）し、順次実行することで、負荷を適切にコントロールします。同時実行とは同時実行とは　1GPU で実行する場合には、正確には同時実行ではなく並行実行(concurrent) となります。同時実行数をセットすると、その数だけ並行実行されます。たとえば、同時実行数の最大値が2に設定されている状態で、2人のユーザー1、ユーザー2　が同じタイミングにリクエストしてきた場合 2人のリクエストは処理キュー（文章生成中をあらわす

GPUマシン自作

[自作日記7] AI用GPUの選定

今回は、AIに適したグラフィックボード(GPU)の選定をします。本編に行く前に、グラフィックボードとGPUの違いについて整理しておきましょうグラフィックボードは、コンピューターで画像処理やAIの計算を担当する重要なハードウェアでパソコンのPCI Express のスロットに挿入して使用するのが一般的です。一方 GPU はグラフィックボードの主要な構成要素の１つで、グラフィックボードは以下のようなコンポーネントで構成されています。 1. GPUチップ - グラフィック処理の中心で、複雑な数学的計算を高速に実行します。 2. VRAM（ビデオRAM） - GPUが直接アクセスする専用メモリで、ディープラーニングでは、パラメータ（重みやバイアス）や計算過程を保持する役割があり非常に高速に動作します。 3. 冷却システム - GPUが生成する熱を効果的に放散するためのファンやヒートシンク。グラフィックボードとGPUを同一視して書いている記事も多く、私たちもあまり厳密に分けて書いていないですが、実体としては↑のような感じですね。さて、それでは Jun さんの買い物の

GPUマシン自作

[自作日記6] メモリ選定

今回は、メモリや周辺パーツを選定しましょう。メモリ選定にも落とし穴があり、Junさんは見事落とし穴にハマってしまいました。さっそくみていきましょう。ふー。やっとCPUとマザーボードが買えました。あと何を買えばいいんだっけ。ということで、もう一度、先輩の置手紙をみてみます ① CPUは 12世代か13世代のどちらでもよい。 ② GPU中心でつかうため、CPU側の能力は i5程度で問題ない。 ③ マザーボードのチップセットは CPUが12世代ならZ690 か CPUが13世代ならZ790。ATX。 ④ CPUメモリは 64GB 以上。DDR4でもDDR5でもどちらでもOK ⑤ グラボはコンシューマー向けでOKだけど、最上位モデルに近いもの。 ⑥ SSD は 1T以上。 ⑦ 電源は 800W 以上、 80Plus Titanium ⑧ ケースはグラボがちゃんと入ることを確認すること！ ①～③までは無事かえましたので、あとはメモリ、グラボ、SSD、電源、ケースを買わないといけません。まだまだ、買い物ありますね。おなかもすいてきたので、CP

GPUマシン自作

[自作日記5] マザーボードはどれがいい？

今回は、マザーボードの選定をします。 Junさんの買い物の続きをみるまえにもう一度チップセットについておさらいしておきましょう。インテルの CoreシリーズCPUは 12世代、13世代ともに、CPUソケットが LGA 1700 となっており、多くの場合、12世代用のチップセットは13世代のCPUとも互換性がありますが、最新の機能や最適な性能を得るには、対応する世代のチップセットを使用することが推奨されます。たとえば、12世代のインテルCoreシリーズCPU用に設計されているチップセットには以下のようなものがありますが、AI用途であればGPUを使いますので、Z690,H670のようなハイエンドチップセットを選ぶのが安全でしょう。 * Z690: 高性能チップセットで、オーバークロッキングサポート、PCIe 5.0 x16スロット、多数のPCIe 4.0レーン、高速なUSB 3.2 Gen 2x2接続、および高速ストレージのための複数のM.2スロットが提供されています。 * H670: オーバークロッキングはサポートしていませんが、それ以外の機能はZ690に近いチップセッ

Blog

GPUリッチと日本の現状

世界的なGPU不足が深刻化しており、特に高性能なグラフィックスプロセッシングユニット（GPU）の確保が困難な状況に直面しています。この不足は、AI研究開発をはじめとする多くのテクノロジー業界に大きな影響を及ぼしており、企業や研究機関の間で新たな競争が生まれています。 GPU不足の現状「GPUが非常に不足しているため、当社の製品を使用する人が少ないほど良いです」「GPUが不足しているため、当社の製品の使用量が減ってくれると嬉しいです」との声が業界内で聞かれるほど、GPUの調達は困難を極めています。イーロン・マスクは、GPUの入手困難さを「麻薬よりも取得が難しい」と形容しています。米国のビッグテックやメガベンチャーでは、GPUを万単位で確保しており、一例として1万台のGPUを確保するには約600億円の投資が必要とされています。これらの企業は、「GPUリッチ」と呼ばれるほどに、NVIDIAのA100やH100などの高性能GPUを大量に所有しています。 GPUリッチの影響このGPUリッチな環境は、米国内でのAI研究開発競争を加速させています。ベイエリアのトップAI研究者

GPUマシン自作

[自作日記4] いざ秋葉原! CPU選び

こんにちは、さっそく自作PCを作っていきましょう。ここでは、Qualitegの若手社員 Jun さんにご登場いただき、GPUマシン自作体験記を赤裸々に語っていただくストーリーとして進めていきます！ Junです。ソフトウェアエンジニアです。ある日、出社すると、席に１枚の封筒がおいてありました。なんだこれ？開いて見ると、中に便箋がはいっており、今時手書きで、しかも太めのマッキーで、こんなことが書いてありました。 Junさんへ、 Qualiteg へようこそ！当社ではメンバーは必ず１台はGPUマシンを自作するのが掟（おきて）となっています。そこの封筒に45万円ありますので、これをもって秋葉原に行ってパソコンのパーツを買ってきてください。以下にヒントを書いておきますので、よろしくおねがいします。 ① CPUは 12世代か13世代のどちらでもよい。 ② GPU中心でつかうため、CPU側の能力は i5程度で問題ない。 ③ マザーボードのチップセットは CPUが12世代ならZ690 か CPUが13世代ならZ790。ATX。 ④ CPUメ

GPUマシン自作

[自作日記3] グラボ2枚挿しの夢

こんにちは！今日の話題はレーン分割とグラボ２枚挿しについてです。前回みてきたとおり、インテル Core シリーズCPUでは、CPUから接続されるPCI Express は PCIe gen5 で　x 16（16レーン分）使えました。 PCIe gen5 は非常に高速で、そのレーンを16レーン使えるので、実質的にこの PCIe gen5 x 16 がグラフィックボード(GPU)用です。実はマザーボードによっては、 PCIe gen5 x16 を2分割して使えるものがあります。さて、ここで、もう１回、 z690 チップセットのブロック図をみてみましょう。この左上の↓ですが、２つのボックスがあり、それの中間にORとかいてあります。これは、「以下の2つのパターンのうち、どちらかを選択することができるよ」という意味になります 1. 1x16

GPUマシン自作

[自作日記2] CPUとチップセットと PCI Express の関係

こんにちは！今日はＣＰＵとチップセットについて学びたいとおもいます！最終的にはＡＩ開発に使えるGPUマシンをつくりたいのですが、GPUってパソコンのどのあたりに入れて使うものでしょうか。はい、正解は、パソコンのPCI Express のスロットに挿して使います。「知っとるわ」という声が聞こえました。さすがです。では、次の問いです。 GPU が挿さる PCI Express スロットのレーンはどこにつながってるのでしょうか？１．「チップセット」２．「ＣＰＵ」正解は２のＣＰＵです。この問いの答えが一瞬で出た方は、本記事を読みとばしていただいて問題ありません。「？」となった方は、本記事に参考になる部分があるかもしれません。ということで、GPU は PCI Express という拡張スロットに挿して使うことはご存じかもしれませんが、PCI Express は内部でどのようにつながっているのでしょうか。実はGPUパソコンを作るときにこの辺がけっこう重要になります。今後、GPU２枚挿し、GPU４枚挿し、など本格的なGPUマシンを作るときにもこのあたり

GPUマシン自作

[自作日記1] 現代の自作PCアーキテクチャを理解する

PC自作にあたって、まずは、2023年現在のPCアーキというものを学んでおこうとおもいます。 CPUとマザーボードとチップセットチップセットマザーボードには、各パーツ間の通信を管理するための「チップセット」という重要なコンポーネントが搭載されています。あるチップセットは対応できるCPUが決められており、そのチップセットに対応していないCPUはのせることができません。逆にCPU側からみれば、あるCPUに対して、それに対応できるチップセットが限定されているともいえます。あるCPUに対してチップセットは１つだけではなく、実装されている機能のレベルに応じて複数のチップセットが対応しています。チップセットとCPUとCPUソケット形状チップセットとCPUはお互いに対応関係が決まっていると説明しましたが、CPUをマザーボードにはめ込むときのソケット形状も物理的に一致しています。例えば Z690 というチップセットは Intel Core i7 12700 という第12世代のCPUに対応しています。また、 Intel Core i7 127

GPUマシン自作

[自作日記0]GPUマシン自作日記はじめます

こんにちは！Qualiteg ブートキャンプチームです。 Qualiteg のお仕事に携わっていただくメンバーの立ち上がりサポートをしています！ Qualiteg では、GPU入りの開発用PCや研究用PCは自作を推奨してます！自らスペックを検討し、秋葉原に買いに行き、相談し、パーツを選定し、組み立てるという一連の経験は非常にエキサイティング＆勉強になるからです。ハードウェアの知識はもとより、秋葉原でのお店ごとの特徴、流行、店員さんの熱量、得られるものが非常に大きいです。たまにパーツ選定ミスをしてしまったり、組み立て途中でパーツを壊してしまったりすることもありますが、その授業料を払ってでも自身で行う価値は十二分にあります。授業料はどうせ会社持ちですし( ¯▽¯ ) 当社では代表をはじめビジネス営業担当まで全員が日々の業務で使用するGPU搭載マシンの自作に励んでおり、日々パーツ情報、親切な販売店情報、弟子入りしたくなるような凄腕店員さん情報（本当に知識豊富ですごい店員さんがアキバの自作系お店にはたくさんいます。感謝！）を共有しています。とはいえ、いきなり秋葉