生成AI研究用PC発売します

生成AI研究用PC発売します

生成AIパソコンのオンラインショップを開設いたしました。

https://shop.qualiteg.com/

AIやLLM(大規模言語モデル)の研究を開始する際、研究者や開発者が最初に直面する課題の一つが、適切なハードウェアの選定です。特に、この分野の研究用途では、単に高性能なコンピュータを選ぶだけでは不十分で、研究の目的や要求に応じた特化した構成が求められます。しかし、研究目的に合わせた適切なパソコンの構成を決定することは、多くの研究者や開発者にとって大きな挑戦です。

自作の選択肢もありますが、GPUとその周辺機器は高価で、選定をミスするととても高くついてしまいます。(そもそもそのケースにGPUがおさまるか、や、冷却性能、2枚以上挿す場合は、そもそもCPUやバス幅などまで考慮に入れる必要がありAIマシン初心者にとってはハードルが高いものとなります)

今回は、お求めやすく、130億パラメータクラスの LLM が快適に扱えるスペックのPCからラインナップしております。GPUは A4000 を1枚または2枚を搭載してモデルをご用意しております。

当社とPC販売店やHPC(高性能コンピューティング)販売店との最大の違いは、私たちが提供する充実したHW/SW統合技術サポートです。私たちはGPUハードウェアだけでなく、ソフトウェアスタックに深い知識と経験を持っており、特にLLMに関しては、当社の主力プロダクトである ChatStream(TM) の Express Edition(無償バンドル版)を同梱しています。これにより、お客様は箱を開けてすぐに、各種オープンソースのLLMを用いたストリーミングチャットの検証を始めることができます。面倒なインストール作業や複雑な設定の手間を省くことが可能です。

Meta社の Llama などより大規模なモデルにも対応できる Xeon アーキテクチャのGPU4枚挿し生成AIパソコン等もカスタム対応可能ですので、ご相談くださいませ。

Read more

ゼロから作るコーディングエージェント【第3回】「止まらなかった」は「進んだ」ではない。空転を数え、思考は切らずに上限だけ置く

ゼロから作るコーディングエージェント【第3回】「止まらなかった」は「進んだ」ではない。空転を数え、思考は切らずに上限だけ置く

300ターン走ってAPIが0本。「モデルの限界」と結論を書いた翌日、記録を読み直すと234ターンがツールを1度も呼んでいませんでした。空転率という指標、1つ塞ぐと次の形に移る空転、思考をオフにすると95点が71点に落ちて時間も縮まなかった話、出力枠を広げたら反対側を数える話を書きます。

By Qualiteg プロダクト開発部
Ubuntuの自動更新でカーネルだけ上がり、再起動したらGPUが消えた。NVIDIAモジュールが置き去りになる原因と3つの対策

Ubuntuの自動更新でカーネルだけ上がり、再起動したらGPUが消えた。NVIDIAモジュールが置き去りになる原因と3つの対策

Ubuntu 24.04のGPUサーバーを再起動したらnvidia-smiが動かない。原因はunattended-upgradesがカーネルだけを更新し、NVIDIAモジュールが依存関係の都合で見送られていたこと。ログで原因を突き止め、1コマンドで復旧し、apt-mark holdを含む3つの再発防止策を比べて採用した記録。

By Qualiteg プロダクト開発部
ゼロから作るコーディングエージェント【第2回】完了は「作った」ではなく「動いた」で決める。完了の門と、押し戻しに書くこと

ゼロから作るコーディングエージェント【第2回】完了は「作った」ではなく「動いた」で決める。完了の門と、押し戻しに書くこと

モデルの「完了しました」は5つの形ですり抜けました。構文検査だけ、テストは通るが動かない、待ち受けは立つが最初の要求で落ちる、起動するが仕様のAPIが無い、assertの無いテスト。完了の門を3段で閉じる設計と、押し戻しに「落ちた行と調べ方」を書いて「答え」を書かない理由を、数字つきで書きます。

By Qualiteg プロダクト開発部