IT & AIテクノロジー

ChatStream Guide

[ChatStream] mosaicml/mpt-7b-chat用の ChatPrompt

本日は mosaicml/mpt-7b-chat 用の ChatPrompt をご紹介します class ChatPromptMosaicmlMptChat(AbstractChatPrompt): """ mosaicml/mpt-7b-chat """ def __init__(self): super().__init__() # Call the initialization of the base class self.set_requester("<human>") self.set_responder("<bot>") self.set_prefix_as_stop_

GPUマシン自作

[自作日記2] CPUとチップセットと PCI Express の関係

こんにちは！今日はＣＰＵとチップセットについて学びたいとおもいます！ 最終的にはＡＩ開発に使えるGPUマシンをつくりたいのですが、GPUってパソコンのどのあたりに入れて使うものでしょうか。 はい、正解は、パソコンのPCI Express のスロットに挿して使います。 「知っとるわ」という声が聞こえました。 さすがです。 では、次の問いです。 GPU が挿さる PCI Express スロットのレーンはどこにつながってるのでしょうか？ １．「チップセット」 ２．「ＣＰＵ」 正解は２のＣＰＵです。 この問いの答えが一瞬で出た方は、本記事を読みとばしていただいて問題ありません。 「？」となった方は、本記事に参考になる部分があるかもしれません。 ということで、GPU は PCI Express という拡張スロットに挿して使うことはご存じかもしれませんが、PCI Express は内部でどのようにつながっているのでしょうか。実はGPUパソコンを作るときにこの辺がけっこう重要になります。 今後、GPU２枚挿し、GPU４枚挿し、など本格的なGPUマシンを作るときにもこのあたり

ChatStream Guide

[ChatStream] matsuo-lab/weblab-10b-instruction-sft用の ChatPrompt

matsuo-lab/weblab-10b-instruction-sft 用の ChatPrompt クラスをリリースしました。 最新バージョンのChatStreamに取り込んでいますが、以下コードを使用することも可能です。 from chatstream import AbstractChatPrompt from chatstream.chat_prompt.prompt_ttl import PromptTTL class ChatPromptMatsuoLabJpGptNeoxInstSft(AbstractChatPrompt): def __init__(self): super().__init__() # Call the initialization of the base class self.set_system("以下は、タスクを説明する指示と、文脈のある入力の組み合わせです。要求を適切に満たす応答を書きなさい。") self.set_requester("指示") self.

GPUマシン自作

[自作日記1] 現代の自作PCアーキテクチャを理解する

PC自作にあたって、まずは、2023年現在のPCアーキというものを学んでおこうとおもいます。 CPUとマザーボードとチップセット チップセット マザーボードには、各パーツ間の通信を管理するための「チップセット」という重要なコンポーネントが搭載されています。 あるチップセットは対応できるCPUが決められており、そのチップセットに対応していないCPUはのせることができません。 逆にCPU側からみれば、あるCPUに対して、それに対応できるチップセットが限定されているともいえます。 あるCPUに対してチップセットは１つだけではなく、実装されている機能のレベルに応じて複数のチップセットが対応しています。 チップセットとCPUとCPUソケット形状 チップセットとCPUはお互いに対応関係が決まっていると説明しましたが、CPUをマザーボードにはめ込むときのソケット形状も物理的に一致しています。 例えば Z690 というチップセットは Intel Core i7 12700 という第12世代のCPUに対応しています。 また、 Intel Core i7 127

GPUマシン自作

[自作日記0]GPUマシン自作日記はじめます

こんにちは！Qualiteg ブートキャンプチームです。 Qualiteg のお仕事に携わっていただくメンバーの立ち上がりサポートをしています！ Qualiteg では、GPU入りの開発用PCや研究用PCは自作を推奨してます！ 自らスペックを検討し、秋葉原に買いに行き、相談し、パーツを選定し、組み立てるという一連の経験は非常にエキサイティング＆勉強になるからです。 ハードウェアの知識はもとより、秋葉原でのお店ごとの特徴、流行、店員さんの熱量、得られるものが非常に大きいです。 たまにパーツ選定ミスをしてしまったり、組み立て途中でパーツを壊してしまったりすることもありますが、その授業料を払ってでも自身で行う価値は十二分にあります。 授業料はどうせ会社持ちですし( ¯▽¯ ) 当社では代表をはじめビジネス営業担当まで全員が日々の業務で使用するGPU搭載マシンの自作に励んでおり、日々パーツ情報、親切な販売店情報、弟子入りしたくなるような凄腕店員さん情報（本当に知識豊富ですごい店員さんがアキバの自作系お店にはたくさんいます。感謝！）を共有しています。 とはいえ、いきなり秋葉