[自作日記0]GPUマシン自作日記はじめます

[自作日記0]GPUマシン自作日記はじめます

こんにちは!Qualiteg ブートキャンプチームです。
Qualiteg のお仕事に携わっていただくメンバーの立ち上がりサポートをしています!

Qualiteg では、GPU入りの開発用PCや研究用PCは自作を推奨してます!

自らスペックを検討し、秋葉原に買いに行き、相談し、パーツを選定し、組み立てるという一連の経験は非常にエキサイティング&勉強になるからです。

a group of people standing outside of a building
Photo by Shigeki Wakabayashi / Unsplash


ハードウェアの知識はもとより、秋葉原でのお店ごとの特徴、流行、店員さんの熱量、得られるものが非常に大きいです。


たまにパーツ選定ミスをしてしまったり、組み立て途中でパーツを壊してしまったりすることもありますが、その授業料を払ってでも自身で行う価値は十二分にあります。

授業料はどうせ会社持ちですし( ¯▽¯ )

当社では代表をはじめビジネス営業担当まで全員が日々の業務で使用するGPU搭載マシンの自作に励んでおり、日々パーツ情報、親切な販売店情報、弟子入りしたくなるような凄腕店員さん情報(本当に知識豊富ですごい店員さんがアキバの自作系お店にはたくさんいます。感謝!)を共有しています。

high rise buildings
Photo by kokaze production / Unsplash



とはいえ、いきなり秋葉原に突撃する前に、まずは、PC自作の基礎知識をマスターすべく本日記を展開いたします。本日記シリーズはQualiteg メンバー向けですが、一般の皆様にもご参考になる内容があるかもしれませんので、記事は公開設定といたしました。
(一部読みづらい部分などあるかもしれませんので、その点ご了承くださいませ)

本シリーズは、個人用GPUパソコンにフォーカスしていますが、Qualiteg ではプロ用途向けとして商用GPU環境に関する専門家のサポートで大規模GPUクラスターを用いた高負荷対応LLMシステムの構築も承っておりますので、商用LLMシステムご検討のおりにはぜひお声がけくださいませ。


navigation

Read more

【解説】Tekken トークナイザーとは何か? 〜 Mistral が採用する新世代トークナイザーの特徴

【解説】Tekken トークナイザーとは何か? 〜 Mistral が採用する新世代トークナイザーの特徴

こんにちは! 本日は、Tekkenについて解説いたします! 皆さま Tekken と聞いて何を思い浮かべますか? 格ゲーの鉄拳でしょうか? 私は、昔プレイした Age of Empires に登場する鉄剣戦士を思い浮かべました🤗 ちょっと古いかもしれませんが、名作です! さてつかみはこのくらいにして、、 LLMはご存じのとおり驚異的なスピードで進化しています。そんな中でひそかに注目されているのが、トークナイザーの改善です。 たとえば、Meta の Llama 系モデルのトークナイザーは Sentence Piece から BPE系へ進化するなど、LLM業界では従来よりも高効率なトークナイズ(テキスト分割)の方法を導入し始めています。 そして Mistral AI もまた、新たに「Tekken トークナイザー」という仕組みを採用し、大規模言語モデルの性能を底上げしています。 本記事では、Tekken トークナイザーの登場背景や技術的特徴、他のトークナイザーとの違い、さらには Mistral との関係などをわかりやすく解説していきます。 1. Tekken トーク

By Qualiteg プロダクト開発部
[AI新規事業創出]Qualitegオリジナル、アイディア評価、事業アイディア選定方法

[AI新規事業創出]Qualitegオリジナル、アイディア評価、事業アイディア選定方法

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。 はじめに AI技術の急速な発展は、スタートアップから大企業まで、あらゆるビジネスに新たな可能性をもたらしています。クライアントとの会話の中でも、AIを活用した革新的な事業アイディアに関する相談が増えています。 しかし、多くの企業が「素晴らしいアイディアを思いついた!」と興奮しながらも、そのアイディアを具体化し、成功に導くための方法論に悩んでいるのも事実です。特にAIを用いた事業展開においては、従来のビジネスモデルとは異なる視点が必要となるため、その難しさはさらに増します。 本記事では、Qualitegオリジナルのアイディア評価、事業アイディア選定方法について解説します。特に、AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、

By Join us, Michele on Qualiteg's adventure to innovation
日本語対応!Mistral Small v3 解説

日本語対応!Mistral Small v3 解説

こんにちは! Mistral AIは2025年1月30日、新しい言語モデル「Mistral Small v3」を発表しました。このモデルは、24Bという比較的小規模なパラメータ数ながら、70B以上の大規模モデルに匹敵する性能を実現しています。また日本語対応も謳われており期待の高い小型モデルです! https://huggingface.co/mistralai/Mistral-Small-24B-Instruct-2501 動画 こちら本ブログの解説動画もご覧いただけます😊 きわだってるのは、レイテンシー最適化 Mistral Small 3のめだった特徴は、その処理性能とレイテンシーの絶妙なバランスではないでしょうか。 公開されている以下の性能評価のグラフによると、トークンあたり約11ミリ秒という業界最速レベルのレイテンシーを達成しています。これは、Qwen-2.5 32Bの約15ミリ秒やGemma-2 27Bの約14ミリ秒と比較して、明確な優位性を示しています。さらに注目すべきは、GPT-4o Miniと比較しても、より低いレイテンシーで同等以上の性能を実現し

By Qualiteg プロダクト開発部
[vLLM] To use CUDA with multiprocessing, you must use the 'spawn' start method の対処法

[vLLM] To use CUDA with multiprocessing, you must use the 'spawn' start method の対処法

WSLで vLLM を使用するとき、 tensor parallel を使って複数枚のGPUで1つのLLMをサーブしようとしたとき以下のようなエラーが発生しがちです RuntimeError: Cannot re-initialize CUDA in forked subprocess. To use CUDA with multiprocessing, you must use the 'spawn' start method 遭遇するシーンとしてはvLLMの起動オプションに以下のようにテンソル並列化オプションを指定したときです。 --tensor-parallel-size 2 つまり、マルチプロセッシングでCUDA使うときは、 "fork"じゃなくて"spawn" 使ってね、というエラーです。 これを vLLM に教えるために、以下の2行目のように環境変数を設定してあげるとvLLMが "spawn" を使ってくれるようになります。 export

By Qualiteg プロダクト開発部