[自作日記20] SW編: コードをGPUで動かす

[自作日記20] SW編: コードをGPUで動かす

早速、GPUで Pythonコードを動かしてみましょう

4.3 Jupyter Notebook で GPUを活用したPytorchコードを記述する

STEP1 端末(ターミナル)を開いて、PyTorchプロジェクト用のディレクトリを作る

以下のコマンドを入力します

mkdir pytorch_pj
cd pytorch_pj

STEP2 Jupyter Notebook の起動

ディレクトリに移動したら

jupyter notebook

でJupyter Notebook(ジュピターノートブック)を起動します

Jupyter Notebook はPythonのコード作成と実行、実行結果表示、自由コメント(Markdown)編集の3つの機能をそなえたツールで、気軽に利用できるので、Jupyter Notebook上で試してみましょう

Jupyter Notebook が起動しました

右上の 新規 をクリックして Python3 を選択します

STEP3 コードを記述

以下のコードを起動した 新しい Notebook に記述します

from __future__ import print_function
import torch

if torch.cuda.is_available(): # CUDAが有効なら TRUE
    device = torch.device("cuda")          # CUDA(クーダ)デバイスを取得
    x = torch.empty(5, 3)                  # CPU上にテンソルを作る
    y = torch.ones_like(x, device=device)  # GPU上に直接テンソルを作る
    print(y)
    x = x.to(device)                       # CPU上に作ったテンソルをCUDAデバイスに転送 
    print(x)
    print("CUDA version:"+torch.version.cuda) #PyTorchが使っているCUDA toolkitバージョンを表示する

RUN をクリックします

無事、CUDA をつかって GPU で実行できたことが結果から確認できます

これで、セットアップはすべて終了です!

これで GPUを活用した AI 開発 の準備が完了しました!

Qualiteg 技術コンサルティング

自作の先に、研究・業務用のGPU環境を考えるなら。

GPUマシンを自分で組む知見は、そのまま研究・PoC・本番のインフラ選定に効きます。

私たちは自社で独自の GPU クラスターを構築・運用し、LLM プロダクトを開発しています。また研究用GPUワークステーションの調達から、インテル Core アーキテクチャ、インテル Xeon アーキテクチャなど、コンシューマーユースからプロユースまで幅広くご支援可能です。ワークステーションの調達・構築支援だけでなく、その先の学習環境の整備、最適な GPU 選定・推論最適化・分散構成まで、運用経験に基づいてアドバイスします。

LLMインフラ・基盤技術の支援を見る →

navigation

Read more

ゼロから作るコーディングエージェント【第3回】「止まらなかった」は「進んだ」ではない。空転を数え、思考は切らずに上限だけ置く

ゼロから作るコーディングエージェント【第3回】「止まらなかった」は「進んだ」ではない。空転を数え、思考は切らずに上限だけ置く

300ターン走ってAPIが0本。「モデルの限界」と結論を書いた翌日、記録を読み直すと234ターンがツールを1度も呼んでいませんでした。空転率という指標、1つ塞ぐと次の形に移る空転、思考をオフにすると95点が71点に落ちて時間も縮まなかった話、出力枠を広げたら反対側を数える話を書きます。

By Qualiteg プロダクト開発部
Ubuntuの自動更新でカーネルだけ上がり、再起動したらGPUが消えた。NVIDIAモジュールが置き去りになる原因と3つの対策

Ubuntuの自動更新でカーネルだけ上がり、再起動したらGPUが消えた。NVIDIAモジュールが置き去りになる原因と3つの対策

Ubuntu 24.04のGPUサーバーを再起動したらnvidia-smiが動かない。原因はunattended-upgradesがカーネルだけを更新し、NVIDIAモジュールが依存関係の都合で見送られていたこと。ログで原因を突き止め、1コマンドで復旧し、apt-mark holdを含む3つの再発防止策を比べて採用した記録。

By Qualiteg プロダクト開発部
ゼロから作るコーディングエージェント【第2回】完了は「作った」ではなく「動いた」で決める。完了の門と、押し戻しに書くこと

ゼロから作るコーディングエージェント【第2回】完了は「作った」ではなく「動いた」で決める。完了の門と、押し戻しに書くこと

モデルの「完了しました」は5つの形ですり抜けました。構文検査だけ、テストは通るが動かない、待ち受けは立つが最初の要求で落ちる、起動するが仕様のAPIが無い、assertの無いテスト。完了の門を3段で閉じる設計と、押し戻しに「落ちた行と調べ方」を書いて「答え」を書かない理由を、数字つきで書きます。

By Qualiteg プロダクト開発部