[自作日記7’] コラム:コンシューマ用GPUとプロ用GPUの違い

[自作日記7’] コラム:コンシューマ用GPUとプロ用GPUの違い

今回は、コンシューマー用GPUは本格的なAI計算に使用できるのか、プロ用GPUとの違いは何か。比較も交えながら考えてみたいと思います。

私たちAI ベンチャー(ベンチャーじゃなくても)でGPUを使うシーンは3つあります。

  1. AI研究:最新モデルや論文のちょっとしたお試し
    小規模な学習。小規模な推論。
  2. 学習:いわゆるディープラーニングのトレーニング。
    長いと数週間、数か月におよぶ。
  3. 商用運用:お客様が使用するサービスのバックエンドとしての
    AIエンジンの商用運用

今回 Jun さんが作ろうとしている GPU マシンは 1.AI研究 のためのものです。

というのも、たとえば、コンシューマー用GPUやコンシューマー用の自作パソコンの場合は長時間にわたるディープラーニングのトレーニングには向いていません。

やってる人もたまにみかけますが、心配になります。

なぜなら、学習させたいネットワークにもよりますが、1回の学習にかかる時間は数日から数週間、長いと数か月にわたります。その間、GPUをドライブするソフトウェアが安定的に稼働している必要があります。2,3日なら何の問題もないことが、数週間まわすと謎のソフトウェアバグがドライバ層などで発生して学習が止まっていた、ということはよくあります。
また、マシンが過熱しない、など廃熱系も安定させて稼働するためには、それなりの対策を施す必要があります。

もともとコンシューマー用のGPUは3Dゲームのために設計されており、数週間の連続高負荷は想定されておりません。1回の学習が3,4日程度なら人の目で監視ということも不可能ではないとおもいますが、いずれにしても、手間がかかるものとなります。

そこで今回 Jun さんが開発しているような秋葉原で手に入りそうなパーツで構成された GPUマシンは、長時間高負荷な計算はさせない ことが前提の ”研究用” GPUマシンと位置付けています。

では、プロ用のGPUとは何でしょうか。

プロ用のGPUには大きく2種類あります。

1つは、ワークステーション用GPU。もう1つはデータセンター用GPUです。

ワークステーション用のGPUはコンシューマー用GPUに近い環境で使用されますが、ドライバーの安定性や信頼性、商品の長期サポートなどが特長で、コンシューマー用GPUより高い信頼性があります。また高度な計算のため、計算精度がコンシューマー用GPUに比べて有利です。ワークステーション用として有名かつ人気のGPUには NVIDIA RTX A6000 などがあります。

データセンター用GPUはその名の通り、専用のデータセンター環境で稼働することを前提としているGPU。ワークステーション用のGPUの特長に加え、エネルギー効率(要は消費電力)が高く、高い並列性などが特長になっています。データセンター用GPUとして有名なものには、 NVIDIA RTX A100、NVIDIA RTX H100 などがあり、1枚あたり300万円以上します。データセンター用とはいっても、インタフェースはPCI Express ですので、通常のワークステーションで動作させることも可能です。

このように2や3の用途で ”安心して” 使用する場合には、ワークステーション用のGPUやデータセンター用のGPUが必要になってきます。

GPUサイズと排熱方式と稼働音

今度は排熱という視点で、GPUをみてみましょう。

GPUは高負荷の計算をすることから、その副産物として大量の”熱”を発生させます。そこで、GPUが発する熱をどうやって放出し、GPUが過熱したり燃えたりすることを防ぐか、が重要となります。

この排熱の方式には大きく3つの方式があります

  1. 空冷 - 内排気
  2. 空冷 - 外排気
  3. 水冷

内排気のグラフィックボード

内排気というのは、PCケースの中にグラフィックボードの熱を排気スタイルです。
コンシューマー用GPUでは、1のタイプが多く、一般的に大きなヒートシンクと一つまたは複数のプロペラファンを使用してケース内の広い範囲に熱を拡散します。この方式は比較的安価でグラフィックボードを作れる反面、大型のヒートシンクとファンによりグラフィックボードのサイズが大きくなる傾向にあります。また、次に紹介する外排気型のグラフィックボードに比べて、ファンの稼働音が静かです。

外排気のグラフィックボード

外排気は、PCケースの中ではなく、PCケースの外側に直接、熱された空気を排出する方式です。ワークステーション用やデータセンター用のグラフィックボードは主にこの方式が採用されます。このときによく使用されるファンが”ブロワーファン”です。

ブロワーファンは空気を中心から吸い込み、ブレードを通過させた後にラジアル(放射状)に排出しケース内の空気を一方向に強力(流量)に吹き出すことができます。以前のグラフィックボードでは同様の目的で”シロッコファン”(圧力優先)というファンが取り付けられていましたが最近は流量優先のブロワーファンが採用されています。

この方式では、ファンがケースの一端に取り付けられ、直線的に空気を外に押し出し空気流がGPUのヒートシンクを通過して直接外部へと押し出されるため、冷却効率が高まります。この方式ではケース内に熱を拡散する内排気型とは異なり、グラフィックボードのサイズを小さくすることができます。反面、ブロワファンは稼働音が大きい場合があるので、静音が重視の場合は内排気型がおすすめです。

水冷のグラフィックボード

水冷のグラフィックボードは一部コンシューマー用のラインナップ(簡易水冷)などで見かけることがあります。また大規模データセンターでは、サーバールーム全体の冷却効率を高めるために、水冷システムを導入する場合があります。これにより、大量のGPUを効率的に冷却することが可能ですが、水冷システムの構築には非常に高いコストがかかりますので、あまり一般的ではりません。

GPUサイズと稼働音

排熱方式について、簡単にみてきましたが、サイズと稼働音についてまとめると
外排気型のグラフィックボードだと、安くて、比較的静かだけど、サイズが巨大
内排気型のグラフィックボードだと、高価、排気音が大きい、サイズは小型

となります。

複数枚のグラフィックボードを挿して使いたい場合は、PCI Expressのスロット干渉に悩まなくてよい内排気型のグラフィックボードがオススメです。


navigation

Read more

GPUサーバーの最適容量計算: キューイング理論と実践的モデル

GPUサーバーの最適容量計算: キューイング理論と実践的モデル

最大ユーザーサポート数計算ツール 同時に1件のみ処理できるGPU変換サーバーの最大ユーザーサポート数を計算します 処理時間 (t_p) 分/件 1件の変換処理にかかる時間 目標システム利用率 (ρ) 0 〜 1 安定稼働のための目標稼働率(推奨: 0.7〜0.8) ピーク係数 (P_c) 倍 最も混雑する時間帯の平均アクセス倍率 稼働時間 (H) 時間/日 システムが1日に稼働している総時間 アクセス確率 (P_a) 0 〜 1 1人のユーザーが1日にシステムを利用する確率 1ユーザーあたりの変換回数 (F) 回/日 利用する日の平均変換処理回数 計算過程を表示 計算結果 サポート可能な総ユーザー数: 人 計算式: N = (ρ × μ × H) ÷ (P_a

By Qualiteg プロダクト開発部
PyTorch 2.6 のセキュリティ: モデルチェックポイントロードの安全対策

PyTorch 2.6 のセキュリティ: モデルチェックポイントロードの安全対策

こんにちは! 今日は、魅力的なPyTorchチェックポイントが配られているからと言って無邪気に使っちゃうと、超ヤバイよ、というお話になります。 みなさまモデルチェックポイントをロードする際のセキュリティリスクについて考えたことはありますでしょうか。実はモデルの重みファイルだとばかり思っていたチェックポイントが、思わぬセキュリティホールになる可能性があります。 本記事では、PyTorchのtorch.load関数の安全性と、モデルチェックポイントを適切に扱うための実践的なガイドラインを紹介します。 モデルチェックポイントの隠れた危険性 PyTorchのtorch.load関数は非常に便利な一方で、セキュリティ上の重大なリスクを含んでいます。 その理由は、 * チェックポイント単なるパラメータだけではないよ! チェックポイントファイルには、モデルの重み(weights)だけでなく、クラスや関数など任意のPythonコードを含めることが可能です。 * 実行可能なコードが入ってるよ! これは、チェックポイントが単なる「データファイル」ではなく、Pytho

By Qualiteg プロダクト開発部
[AI新規事業創出]Qualitegオリジナル、アイデア評価、事業アイデア選定方法

[AI新規事業創出]Qualitegオリジナル、アイデア評価、事業アイデア選定方法

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。 AIを活用した事業アイデア評価と選定方法 | Qualitegオリジナルアプローチ 新規事業の立ち上げは、アイデアの創出から始まりますが、その後の評価と選定プロセスこそが成功の鍵を握ります。Qualitegでは、AIを積極的に活用した独自の評価・選定メソッドを開発し、より客観的かつ多角的な視点でビジネスアイデアを検証しています。今回は、私たちの実践的なアプローチをご紹介します。 AIを活用したアイデア評価の基本フレームワーク 当社のアイデア評価プロセスは、以下の2段階で構成しております。 1. 多次元評価マトリックスによる定量分析 まず、出てきたアイデアについて、ChatGPTなどの大規模言語モデル(LLM)を活用し、以下の8つの評価軸でアイデア

By Join us, Michele on Qualiteg's adventure to innovation
Windows Terminal で「無効な "icon" を持つプロファイルが見つかりました。既定では、そのプロファイルにアイコンはありません。」が出たときの対処法

Windows Terminal で「無効な "icon" を持つプロファイルが見つかりました。既定では、そのプロファイルにアイコンはありません。」が出たときの対処法

何度か、WSL にいろんなバージョンのLinux を入れたり消したりしたときに遭遇した現象です ユーザー設定の読み込み中にエラーが発生しました 無効な "icon" を持つプロファイルが見つかりました。既定では、そのプロファイルにアイコンはありません。"icon" を設定するときは、値が画像への有効なファイルパスとなっていることをご確認ください。 が発生するときの原因と対象法のレポートです 原因 使われなくなったゾンビ・プロファイルがWindows Terminal (のキャッシュ)に残り続ける 対処法 このメッセージを解消するには、いったん、プロファイルをリセットする必要がありました。 ※既存プロファイル設定が消える場合があるので留意すること Step1 Windows Terminal を落とす Windows Terminal をいったんすべて落とす Step2 settings.json を消す エクスプローラーで settings.json のあるフォルダに移動しファイルを削除する %LOCALAPPDATA%\Packages\Micros

By Qualiteg プロダクト開発部