日々の開発Tips

NVIDIA GPU と Capability Level

Qualiteg プロダクト開発部

2024年6月20日 — 1 min read

Photo by Andrey Matveev / Unsplash

NVIDIA GPU の Capability Level の一覧です。

推論エンジンがサポートする各種アクセラレーション機能は Capability Level により搭載されるハードウェアアクセラレータや専用機能が異なります。

データセンター/プロ向けGPU	GeForce GPU	Capability Level	世代名
NVIDIA B200	-	100	Blackwell
NVIDIA B100	-	100	Blackwell
NVIDIA H200	-	90	Hopper
NVIDIA H100	-	90	Hopper
NVIDIA L4	-	89	Ada Lovelace
NVIDIA L40	-	89	Ada Lovelace
RTX 6000 Ada Generation	-	89	Ada Lovelace
RTX 5000 Ada Generation	-	89	Ada Lovelace
RTX 4000 Ada Generation	-	89	Ada Lovelace
RTX 3000 Ada Generation	-	89	Ada Lovelace
-	GeForce RTX 4090	89	Ada Lovelace
-	GeForce RTX 4080	89	Ada Lovelace
-	GeForce RTX 4070 Ti / 4070	89	Ada Lovelace
-	GeForce RTX 4060 Ti / 4060	89	Ada Lovelace
-	GeForce RTX 4050	89	Ada Lovelace
NVIDIA A40	-	86	Ampere
NVIDIA A10	-	86	Ampere
NVIDIA A16	-	86	Ampere
NVIDIA A2	-	86	Ampere
RTX A6000	-	86	Ampere
RTX A5000	-	86	Ampere
RTX A4000	-	86	Ampere
RTX A3000	-	86	Ampere
RTX A2000	-	86	Ampere
RTX A1000	-	86	Ampere
-	GeForce RTX 3090 Ti / 3090	86	Ampere
-	GeForce RTX 3080 Ti / 3080	86	Ampere
-	GeForce RTX 3070 Ti / 3070	86	Ampere
-	GeForce RTX 3060 Ti / 3060	86	Ampere
-	GeForce RTX 3050 Ti / 3050	86	Ampere
NVIDIA A100	-	80	Ampere
NVIDIA A30	-	80	Ampere
NVIDIA T4	-	75	Turing
T400	-	75	Turing
Quadro RTX 8000	-	75	Turing
Quadro RTX 6000	-	75	Turing
Quadro RTX 5000	-	75	Turing
Quadro RTX 4000	-	75	Turing
RTX 5000	-	75	Turing
RTX 4000	-	75	Turing
RTX 3000	-	75	Turing
T2000	-	75	Turing
T1200	-	75	Turing
T1000	-	75	Turing
T600	-	75	Turing
T500	-	75	Turing
NVIDIA TITAN RTX	-	75	Turing
-	GeForce RTX 2080 Ti / 2080 Super / 2080	75	Turing
-	GeForce RTX 2070 Super / 2070	75	Turing
-	GeForce RTX 2060 Super / 2060	75	Turing
-	GeForce GTX 1660 Ti / 1660 Super / 1660	75	Turing
-	GeForce GTX 1650 Super / 1650 Ti / 1650	75	Turing
NVIDIA V100	-	70	Volta
Quadro GV100	-	70	Volta
NVIDIA TITAN V	-	70	Volta

Read more

【解説】Tekken トークナイザーとは何か？〜 Mistral が採用する新世代トークナイザーの特徴

【解説】Tekken トークナイザーとは何か？〜 Mistral が採用する新世代トークナイザーの特徴

こんにちは！本日は、Tekkenについて解説いたします！皆さま Tekken と聞いて何を思い浮かべますか？格ゲーの鉄拳でしょうか？私は、昔プレイした Age of Empires に登場する鉄剣戦士を思い浮かべました🤗 ちょっと古いかもしれませんが、名作です！さてつかみはこのくらいにして、、 LLMはご存じのとおり驚異的なスピードで進化しています。そんな中でひそかに注目されているのが、トークナイザーの改善です。たとえば、Meta の Llama 系モデルのトークナイザーは Sentence Piece から BPE系へ進化するなど、LLM業界では従来よりも高効率なトークナイズ（テキスト分割）の方法を導入し始めています。そして Mistral AI もまた、新たに「Tekken トークナイザー」という仕組みを採用し、大規模言語モデルの性能を底上げしています。本記事では、Tekken トークナイザーの登場背景や技術的特徴、他のトークナイザーとの違い、さらには Mistral との関係などをわかりやすく解説していきます。 1. Tekken トーク

[AI新規事業創出]Qualitegオリジナル、アイディア評価、事業アイディア選定方法

[AI新規事業創出]Qualitegオリジナル、アイディア評価、事業アイディア選定方法

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。はじめに AI技術の急速な発展は、スタートアップから大企業まで、あらゆるビジネスに新たな可能性をもたらしています。クライアントとの会話の中でも、AIを活用した革新的な事業アイディアに関する相談が増えています。しかし、多くの企業が「素晴らしいアイディアを思いついた！」と興奮しながらも、そのアイディアを具体化し、成功に導くための方法論に悩んでいるのも事実です。特にAIを用いた事業展開においては、従来のビジネスモデルとは異なる視点が必要となるため、その難しさはさらに増します。本記事では、Qualitegオリジナルのアイディア評価、事業アイディア選定方法について解説します。特に、AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、

日本語対応！Mistral Small v3 解説

日本語対応！Mistral Small v3 解説

こんにちは！ Mistral AIは2025年1月30日、新しい言語モデル「Mistral Small v3」を発表しました。このモデルは、24Bという比較的小規模なパラメータ数ながら、70B以上の大規模モデルに匹敵する性能を実現しています。また日本語対応も謳われており期待の高い小型モデルです！ https://huggingface.co/mistralai/Mistral-Small-24B-Instruct-2501 動画こちら本ブログの解説動画もご覧いただけます😊 きわだってるのは、レイテンシー最適化 Mistral Small 3のめだった特徴は、その処理性能とレイテンシーの絶妙なバランスではないでしょうか。公開されている以下の性能評価のグラフによると、トークンあたり約11ミリ秒という業界最速レベルのレイテンシーを達成しています。これは、Qwen-2.5 32Bの約15ミリ秒やGemma-2 27Bの約14ミリ秒と比較して、明確な優位性を示しています。さらに注目すべきは、GPT-4o Miniと比較しても、より低いレイテンシーで同等以上の性能を実現し

[vLLM] To use CUDA with multiprocessing, you must use the 'spawn' start method の対処法

[vLLM] To use CUDA with multiprocessing, you must use the 'spawn' start method の対処法

WSLで vLLM を使用するとき、 tensor parallel を使って複数枚のGPUで1つのLLMをサーブしようとしたとき以下のようなエラーが発生しがちです RuntimeError: Cannot re-initialize CUDA in forked subprocess. To use CUDA with multiprocessing, you must use the 'spawn' start method 遭遇するシーンとしてはvLLMの起動オプションに以下のようにテンソル並列化オプションを指定したときです。 --tensor-parallel-size 2 つまり、マルチプロセッシングでCUDA使うときは、 "fork"じゃなくて"spawn" 使ってね、というエラーです。これを vLLM に教えるために、以下の2行目のように環境変数を設定してあげるとvLLMが "spawn" を使ってくれるようになります。 export