PyTorch

PyTorchバージョンとNVIDIA GPU Compute Capability Level サポート

Qualiteg プロダクト開発部

2024年9月22日 — 2 min read

Photo by Christian Wiediger / Unsplash

古いPyTorchコード資産を持っている会社は、昔のコードが最新のPyTorchで動かない！最新のGPUで動かない！ということに遭遇することが多いのでしょうか。
今回は、PyTorchバージョン、対応GPU Capability Level 、対応CUDAバージョンについてまとめてみます。

PyTorchがサポートするGPUの Compute Capability

PyTorch バージョン	サポートされる Compute Capability (SM) レベル
1.0.0 - 1.3.1	SM_35, SM_37, SM_50, SM_60, SM_61, SM_70
1.4.0 - 1.7.1	SM_37, SM_50, SM_60, SM_61, SM_70, SM_75
1.8.0 - 1.8.1	SM_37, SM_50, SM_60, SM_70, SM_75, SM_80
1.9.0 - 1.12.1	SM_37, SM_50, SM_60, SM_70, SM_75, SM_80, SM_86
1.13.0 - 2.0.1	SM_37, SM_50, SM_60, SM_70, SM_75, SM_80, SM_86, SM_89, SM_90
2.1.0 以降	SM_50, SM_60, SM_70, SM_75, SM_80, SM_86, SM_89, SM_90

PyTorch旧バージョンインストール方法参考ページ

https://pytorch.org/get-started/previous-versions/

PyTorchがサポートするPythonバージョン

PyTorch バージョン	サポートされる Python バージョン
1.4.0 - 1.7.1	3.6, 3.7, 3.8
1.8.0 - 1.9.1	3.6, 3.7, 3.8, 3.9
1.10.0 - 1.12.1	3.7, 3.8, 3.9, 3.10
1.13.0 - 2.0.1	3.8, 3.9, 3.10, 3.11
2.1.0 以降	3.8, 3.9, 3.10, 3.11, 3.12

Compute Capabilityと代表的GPUラインナップ

SM_世代	データセンター/プロ向けGPU	GeForce GPU
SM_100 (Blackwell)	NVIDIA B100 (GB100), B200, GB202, GB203, GB205, GB206, GB207, NVIDIA B40	GeForce RTX 5090, RTX 5080
SM_90 (Hopper)	NVIDIA H100, NVIDIA H200	-
SM_89 (Ada Lovelace)	NVIDIA L4, NVIDIA L40, RTX 6000 Ada Generation, L40s Ada	GeForce RTX 4090, GeForce RTX 4080, GeForce RTX 4070 Ti / 4070, GeForce RTX 4060 Ti / 4060, GeForce RTX 4050
SM_86, SM_87 (Ampere)	NVIDIA A100, NVIDIA A30, NVIDIA A40, RTX A2000, A3000, RTX A4000, A5000, A6000, A10, A16, A2 Tensor Core GPU, A800 40GB	GeForce RTX 3090, GeForce RTX 3080, GeForce RTX 3070, GeForce RTX 3060, GeForce RTX 3050
SM_75 (Turing)	Quadro RTX 8000, RTX 6000, RTX 5000, RTX 4000, T4	GeForce RTX 2080 Ti, GeForce RTX 2070, GeForce GTX 1660 Ti
SM_70, SM_72 (Volta)	Tesla V100, Quadro GV100, Titan V, Xavier NX	-
SM_60, SM_61, SM_62 (Pascal)	Tesla P100, Quadro GP100	GeForce GTX 1080, GTX 1070, GTX 1060, GTX 1050, GTX 1030, GT 1010, Titan Xp
SM_50, SM_52, SM_53 (Maxwell)	Tesla M-series, Quadro M6000	GeForce GTX 980 Ti, GTX Titan X, GTX 980, GTX 970
SM_35, SM_37 (Kepler)	Tesla K40, Tesla K80	-
SM_30 (Kepler)	-	GeForce 700シリーズ, GT-730
SM_20 (Fermi)	-	GeForce 400, 500, 600, GT-630

出展: https://blog.qualiteg.com/nvidia-gpu-capability-level/

対応CUDAバージョン

SM_世代	アーキテクチャ	互換性のある最小CUDAバージョン	CUDA 12.5での状態
SM_100	Blackwell	-	-
SM_90	Hopper	CUDA 12.0以降	対応
SM_89	Ada Lovelace	CUDA 11.8以降	対応
SM_86, SM_87	Ampere	CUDA 11.1以降	対応
SM_80	Ampere	CUDA 11.0以降	対応
SM_75	Turing	CUDA 10.0以降	対応
SM_70, SM_72	Volta	CUDA 9.0以降	対応
SM_60, SM_61, SM_62	Pascal	CUDA 8.0以降	対応
SM_50, SM_52, SM_53	Maxwell	CUDA 6.0以降	対応
SM_30, SM_35, SM_37	Kepler	CUDA 5.0以降	サポート終了
SM_20	Fermi	CUDA 3.2以降	サポート終了

Read more

【解説】Tekken トークナイザーとは何か？〜 Mistral が採用する新世代トークナイザーの特徴

【解説】Tekken トークナイザーとは何か？〜 Mistral が採用する新世代トークナイザーの特徴

こんにちは！本日は、Tekkenについて解説いたします！皆さま Tekken と聞いて何を思い浮かべますか？格ゲーの鉄拳でしょうか？私は、昔プレイした Age of Empires に登場する鉄剣戦士を思い浮かべました🤗 ちょっと古いかもしれませんが、名作です！さてつかみはこのくらいにして、、 LLMはご存じのとおり驚異的なスピードで進化しています。そんな中でひそかに注目されているのが、トークナイザーの改善です。たとえば、Meta の Llama 系モデルのトークナイザーは Sentence Piece から BPE系へ進化するなど、LLM業界では従来よりも高効率なトークナイズ（テキスト分割）の方法を導入し始めています。そして Mistral AI もまた、新たに「Tekken トークナイザー」という仕組みを採用し、大規模言語モデルの性能を底上げしています。本記事では、Tekken トークナイザーの登場背景や技術的特徴、他のトークナイザーとの違い、さらには Mistral との関係などをわかりやすく解説していきます。 1. Tekken トーク

[AI新規事業創出]Qualitegオリジナル、アイディア評価、事業アイディア選定方法

[AI新規事業創出]Qualitegオリジナル、アイディア評価、事業アイディア選定方法

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。はじめに AI技術の急速な発展は、スタートアップから大企業まで、あらゆるビジネスに新たな可能性をもたらしています。クライアントとの会話の中でも、AIを活用した革新的な事業アイディアに関する相談が増えています。しかし、多くの企業が「素晴らしいアイディアを思いついた！」と興奮しながらも、そのアイディアを具体化し、成功に導くための方法論に悩んでいるのも事実です。特にAIを用いた事業展開においては、従来のビジネスモデルとは異なる視点が必要となるため、その難しさはさらに増します。本記事では、Qualitegオリジナルのアイディア評価、事業アイディア選定方法について解説します。特に、AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、

日本語対応！Mistral Small v3 解説

日本語対応！Mistral Small v3 解説

こんにちは！ Mistral AIは2025年1月30日、新しい言語モデル「Mistral Small v3」を発表しました。このモデルは、24Bという比較的小規模なパラメータ数ながら、70B以上の大規模モデルに匹敵する性能を実現しています。また日本語対応も謳われており期待の高い小型モデルです！ https://huggingface.co/mistralai/Mistral-Small-24B-Instruct-2501 動画こちら本ブログの解説動画もご覧いただけます😊 きわだってるのは、レイテンシー最適化 Mistral Small 3のめだった特徴は、その処理性能とレイテンシーの絶妙なバランスではないでしょうか。公開されている以下の性能評価のグラフによると、トークンあたり約11ミリ秒という業界最速レベルのレイテンシーを達成しています。これは、Qwen-2.5 32Bの約15ミリ秒やGemma-2 27Bの約14ミリ秒と比較して、明確な優位性を示しています。さらに注目すべきは、GPT-4o Miniと比較しても、より低いレイテンシーで同等以上の性能を実現し

[vLLM] To use CUDA with multiprocessing, you must use the 'spawn' start method の対処法

[vLLM] To use CUDA with multiprocessing, you must use the 'spawn' start method の対処法

WSLで vLLM を使用するとき、 tensor parallel を使って複数枚のGPUで1つのLLMをサーブしようとしたとき以下のようなエラーが発生しがちです RuntimeError: Cannot re-initialize CUDA in forked subprocess. To use CUDA with multiprocessing, you must use the 'spawn' start method 遭遇するシーンとしてはvLLMの起動オプションに以下のようにテンソル並列化オプションを指定したときです。 --tensor-parallel-size 2 つまり、マルチプロセッシングでCUDA使うときは、 "fork"じゃなくて"spawn" 使ってね、というエラーです。これを vLLM に教えるために、以下の2行目のように環境変数を設定してあげるとvLLMが "spawn" を使ってくれるようになります。 export