![[自作日記6] メモリ選定](/content/images/size/w600/2024/04/gpu_machine_jisaku_06.png)
GPUマシン自作
今回は、メモリや周辺パーツを選定しましょう。 メモリ選定にも落とし穴があり、Junさんは見事落とし穴にハマってしまいました。さっそくみていきましょう。 ふー。やっとCPUとマザーボードが買えました。 あと何を買えばいいんだっけ。ということで、もう一度、先輩の置手紙をみてみます ① CPUは 12世代か13世代のどちらでもよい。 ② GPU中心でつかうため、CPU側の能力は i5程度で問題ない。 ③ マザーボードのチップセットは CPUが12世代ならZ690 か CPUが13世代ならZ790。ATX。 ④ CPUメモリは 64GB 以上。DDR4でもDDR5でもどちらでもOK ⑤ グラボはコンシューマー向けでOKだけど、最上位モデルに近いもの。 ⑥ SSD は 1T以上。 ⑦ 電源は 800W 以上、 80Plus Titanium ⑧ ケースはグラボがちゃんと入ることを確認すること！ ①～③までは無事かえましたので、あとはメモリ、グラボ、SSD、電源、ケースを買わないといけません。まだまだ、買い物ありますね。 おなかもすいてきたので、CP
AI数理
みなさまこんにちは、(株) Qualiteg 研究部です。 LLM関連の論文を読んでいると、なぞの数式、なぞの記号がたくさんでてきて、めまいがすることはないでしょうか？ 私も学生時代ニューラルネットを研究していましたが、それを理解するための数学的背景がミルフィーユのように多層になっており、面食らった記憶があります。 現代のLLMは、パーセプトロンや初期のニューラルネットの研究にくらべると、いや、分析系のディープラーニングベースAIの頃からみてもミルフィーユの層が10倍くらい厚く、LLMの仕組みを数学的に理解するには、その何重、何百という数学的理論基盤を理解しなければいけません。 （LLMを利用するだけなら、ミルフィーユをまるごと食べて「おいし～」って言っている状態ですが、じゃあ、その多層（の数理）になったミルフィーユを１層ずつ理解しながら作っていくのは食べるのにくらべてどれだけ大変か、ですね。） このように、LLMの実現には、機械学習の基礎編としての確率統計の話や、クラシックな機械学習の理論から、ディープラーニングで使う微分や離散化、RNN,LSTMなどを経てそこからトラ
![[ChatStream] HTTP セッションミドルウェアの設定](https://images.unsplash.com/photo-1586726370832-3440a511e479?crop=entropy&cs=tinysrgb&fit=max&fm=jpg&ixid=M3wxMTc3M3wwfDF8c2VhcmNofDd8fGhhbmRzfGVufDB8fHx8MTcxMjgyMTYwNXww&ixlib=rb-4.0.3&q=80&w=600)
ChatStream Guide
こんにちは！ (株)Qualiteg プロダクト開発部 です！ 本稿では、 ChatStream に セッションミドルウェアをセットし、Webアプリケーションをステートフルにする方法についてご説明いたします！ ChatStream では Qualiteg が開発した独自のセッションミドルウェアを使用しており、通常の Starlette 用のセッションミドルウェアよりも高い柔軟性を実現しています。（Java Servlet のセッション管理アプローチに近いです) セッションミドルウェア 開いたブラウザでWebチャットをするときにマルチラウンドの会話を成立するためには ChatPrompt（会話履歴） が複数ターンの会話のなかで更新されていく必要があります。 デフォルトでは、 ChatStream は HTTP セッションを使用してWebアプリケーションをステートフルにし、 ChatPrompt をブラウザが開いている間保持することができます。 HTTP セッションを使用するには、以下のように FastAPI のミドルウェアを登録します。 from fas
![[AI新規事業創出]Qualitegが考える、質の良いアイディア創出のための3つのポイント](https://images.unsplash.com/photo-1598520106830-8c45c2035460?crop=entropy&cs=tinysrgb&fit=max&fm=jpg&ixid=M3wxMTc3M3wwfDF8c2VhcmNofDd8fGlkZWF8ZW58MHx8fHwxNzEzMDE1MDkyfDA&ixlib=rb-4.0.3&q=80&w=600)
AI-Business
新規事業のコンサルティングの中で多くのクライアントから「質の良いアイディアの出し方」についてご質問をいただきます。Qualitegは長年の経験から、要件定義、業界情報の収集、効果的なファシリテーションを重要視しています。これによりアイディア創出の質が向上し、ブレスト時の空振りを防ぐことが可能になります。
![[ChatSream] モデルをロードする方法](https://images.unsplash.com/photo-1607434472257-d9f8e57a643d?crop=entropy&cs=tinysrgb&fit=max&fm=jpg&ixid=M3wxMTc3M3wwfDF8c2VhcmNofDF8fGxvYWRpbmd8ZW58MHx8fHwxNzEyODIwODYyfDA&ixlib=rb-4.0.3&q=80&w=600)
ChatStream Guide
こんにちは！ (株)Qualiteg プロダクト開発部 です！ 本稿では、 ChatStream に HuggingFaceモデルを読み込むときのアプローチについてご説明いたします HuggingFace モデルのロード モデルごとに指定された方法で HuggingFace モデルを読み込みます。 model_path = "togethercomputer/RedPajama-INCITE-Chat-3B-v1" device = "cuda" # "cuda" / "cpu" tokenizer = AutoTokenizer.from_pretrained(model_path) model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.float16) model.to(device) こちらは、
![[自作日記5] マザーボードはどれがいい？](/content/images/size/w600/2024/04/gpu_machine_jisaku_05.png)
GPUマシン自作
今回は、マザーボードの選定をします。 Junさんの買い物の続きをみるまえにもう一度チップセットについておさらいしておきましょう。 インテルの CoreシリーズCPUは 12世代、13世代ともに、CPUソケットが LGA 1700 となっており、多くの場合、12世代用のチップセットは13世代のCPUとも互換性がありますが、最新の機能や最適な性能を得るには、対応する世代のチップセットを使用することが推奨されます。 たとえば、12世代のインテルCoreシリーズCPU用に設計されている チップセットには以下のようなものがありますが、AI用途であればGPUを使いますので、Z690,H670のようなハイエンドチップセットを選ぶのが安全でしょう。 * Z690: 高性能チップセットで、オーバークロッキングサポート、PCIe 5.0 x16スロット、多数のPCIe 4.0レーン、高速なUSB 3.2 Gen 2x2接続、および高速ストレージのための複数のM.2スロットが提供されています。 * H670: オーバークロッキングはサポートしていませんが、それ以外の機能はZ690に近いチップセッ
Blog
世界的なGPU不足が深刻化しており、特に高性能なグラフィックスプロセッシングユニット（GPU）の確保が困難な状況に直面しています。この不足は、AI研究開発をはじめとする多くのテクノロジー業界に大きな影響を及ぼしており、企業や研究機関の間で新たな競争が生まれています。 GPU不足の現状 「GPUが非常に不足しているため、当社の製品を使用する人が少ないほど良いです」「GPUが不足しているため、当社の製品の使用量が減ってくれると嬉しいです」との声が業界内で聞かれるほど、GPUの調達は困難を極めています。 イーロン・マスクは、GPUの入手困難さを「麻薬よりも取得が難しい」と形容しています。 米国のビッグテックやメガベンチャーでは、GPUを万単位で確保しており、一例として1万台のGPUを確保するには約600億円の投資が必要とされています。これらの企業は、「GPUリッチ」と呼ばれるほどに、NVIDIAのA100やH100などの高性能GPUを大量に所有しています。 GPUリッチの影響 このGPUリッチな環境は、米国内でのAI研究開発競争を加速させています。ベイエリアのトップAI研究者
![[ChatStream] ChatPrompt の実装](https://images.unsplash.com/photo-1600267185393-e158a98703de?crop=entropy&cs=tinysrgb&fit=max&fm=jpg&ixid=M3wxMTc3M3wwfDF8c2VhcmNofDl8fHByb21wdHxlbnwwfHx8fDE3MTI4MjAzODV8MA&ixlib=rb-4.0.3&q=80&w=600)
ChatStream Guide
ChatPrompt とは こんにちは！ (株)Qualiteg プロダクト開発部 です！ 本稿では、 ChatPrompt の具体的な実装方法をご紹介いたします！ ChatPrompt とは、事前学習済言語モデル（以降、モデル）用のプロンプトを生成するためのクラスです。プロンプトクラスと呼びます。 たとえば、 redpajama-incite の場合は以下のようなプロンプトをつくり、モデルに入力します。 <human>: Who is Alan Turing <bot>: すると、モデルは続きの文章を生成し、以下を出力します。 <human>: Who is Alan Turing <bot>: He was a very honorable man.
![[AI新規事業創出]新規事業開発における課題とは](https://images.unsplash.com/photo-1517245386807-bb43f82c33c4?crop=entropy&cs=tinysrgb&fit=max&fm=jpg&ixid=M3wxMTc3M3wwfDF8c2VhcmNofDE2fHxOZXclMjBCdXNpbmVzc3xlbnwwfHx8fDE3MTMwMTQxNzd8MA&ixlib=rb-4.0.3&q=80&w=600)
AI-Business
新規事業開発において、良いアイディアの不足や事業化の方法が不明な問題が多くあります。具体的な課題として、事業検討手法、アイディア創出方法、ビジネス化手法の不明が挙げられています。
![[自作日記4] いざ秋葉原! CPU選び](/content/images/size/w600/2024/04/gpu_machine_jisaku_04-1.png)
GPUマシン自作
こんにちは、さっそく自作PCを作っていきましょう。 ここでは、Qualitegの若手社員 Jun さんにご登場いただき、GPUマシン自作体験記を赤裸々に語っていただくストーリーとして進めていきます！ Junです。ソフトウェアエンジニアです。 ある日、出社すると、席に１枚の封筒がおいてありました。 なんだこれ？ 開いて見ると、中に便箋がはいっており、 今時手書きで、しかも太めのマッキーで、こんなことが書いてありました。 Junさんへ、 Qualiteg へようこそ！ 当社ではメンバーは必ず１台はGPUマシンを自作するのが掟（おきて）となっています。 そこの封筒に45万円ありますので、これをもって秋葉原に行ってパソコンのパーツを買ってきてください。 以下にヒントを書いておきますので、よろしくおねがいします。 ① CPUは 12世代か13世代のどちらでもよい。 ② GPU中心でつかうため、CPU側の能力は i5程度で問題ない。 ③ マザーボードのチップセットは CPUが12世代ならZ690 か CPUが13世代ならZ790。ATX。 ④ CPUメ
![[ChatStream] クイックスタート](https://images.unsplash.com/photo-1584907797015-7554cd315667?crop=entropy&cs=tinysrgb&fit=max&fm=jpg&ixid=M3wxMTc3M3wwfDF8c2VhcmNofDZ8fHN0YXJ0fGVufDB8fHx8MTcxMjc3OTg5M3ww&ixlib=rb-4.0.3&q=80&w=600)
ChatStream Guide
こんにちは！ (株)Qualiteg プロダクト開発部 です！ まだまだ暑いですね！ 早速、昨日発表しました ChatStream をつかったリアルタイムストリーミングチャットサーバーを作ってみたいと思います。 パッケージのインストール 早速 ChatStream パッケージのインストールをしていきます pip install chatstream 必要パッケージのインストール pip install torch torchvision torchaudio pip install transformers pip install "uvicorn[standard]" gunicorn ChatStream サーバーの実装 今回は RedPajamaINCITE をLLMとしてつかったストリーミングチャットサーバーを実装します。 chatstream_server.py import torch from fastapi import FastAPI, Request from fastsession
![[AI新規事業創出]生成AIを活用してオフィス業務を効率化する方法](https://images.unsplash.com/photo-1606857521015-7f9fcf423740?crop=entropy&cs=tinysrgb&fit=max&fm=jpg&ixid=M3wxMTc3M3wwfDF8c2VhcmNofDh8fG9mZmljZXxlbnwwfHx8fDE3MTI5Mjg1NTZ8MA&ixlib=rb-4.0.3&q=80&w=600)
AI-Business
MicheleはQualiteg blogで、AIを活用した新規事業やマーケティングに関する質問に答えています。特に多いのが、「ChatGPTを使って業務効率化をどう始めればいいか」という問い合わせです。彼女は、社内文書の自動生成からAI導入を始めることを推奨しており、カスタマーサポート業務の効率化にも大きな効果があると説明しています。また、バックオフィス業務改革を最初のステップとしてお勧めしています。
![[自作日記3] グラボ2枚挿しの夢](/content/images/size/w600/2024/04/gpu_machine_jisaku_03.png)
GPUマシン自作
こんにちは！ 今日の話題はレーン分割とグラボ２枚挿しについてです。 前回みてきたとおり、インテル Core シリーズCPUでは、CPUから接続されるPCI Express は PCIe gen5 で x 16（16レーン分）使えました。 PCIe gen5 は非常に高速で、そのレーンを16レーン使えるので、実質的にこの PCIe gen5 x 16 がグラフィックボード(GPU)用です。 実はマザーボードによっては、 PCIe gen5 x16 を2分割して使えるものがあります。 さて、ここで、もう１回、 z690 チップセットのブロック図をみてみましょう。 この左上の↓ですが、２つのボックスがあり、それの中間にORとかいてあります。 これは、「以下の2つのパターンのうち、どちらかを選択することができるよ」という意味になります 1. 1x16
![[AI新規事業創出]LLMとは？](https://images.unsplash.com/photo-1620712943543-bcc4688e7485?crop=entropy&cs=tinysrgb&fit=max&fm=jpg&ixid=M3wxMTc3M3wwfDF8c2VhcmNofDV8fG1hY2hpbmUlMjBMZWFybmluZ3xlbnwwfHx8fDE3MTI5MjUxMzh8MA&ixlib=rb-4.0.3&q=80&w=600)
AI-Business
MicheleがAI活用のビジネスやマーケティングについて質問に答えるブログを紹介。大規模言語モデル（LLM）について説明し、ChatGPTを例に挙げてLLMのビジネス活用事例や技術的な側面を解説。さらに、専用パソコンや日本語対応モデルも紹介しています。
![[ChatStream] mosaicml/mpt-7b-chat用の ChatPrompt](/content/images/size/w600/2024/04/ChatPrompt--1-.png)
ChatStream Guide
本日は mosaicml/mpt-7b-chat 用の ChatPrompt をご紹介します class ChatPromptMosaicmlMptChat(AbstractChatPrompt): """ mosaicml/mpt-7b-chat """ def __init__(self): super().__init__() # Call the initialization of the base class self.set_requester("<human>") self.set_responder("<bot>") self.set_prefix_as_stop_
![[自作日記2] CPUとチップセットと PCI Express の関係](/content/images/size/w600/2024/04/gpu_machine_jisaku_02.png)
GPUマシン自作
こんにちは！今日はＣＰＵとチップセットについて学びたいとおもいます！ 最終的にはＡＩ開発に使えるGPUマシンをつくりたいのですが、GPUってパソコンのどのあたりに入れて使うものでしょうか。 はい、正解は、パソコンのPCI Express のスロットに挿して使います。 「知っとるわ」という声が聞こえました。 さすがです。 では、次の問いです。 GPU が挿さる PCI Express スロットのレーンはどこにつながってるのでしょうか？ １．「チップセット」 ２．「ＣＰＵ」 正解は２のＣＰＵです。 この問いの答えが一瞬で出た方は、本記事を読みとばしていただいて問題ありません。 「？」となった方は、本記事に参考になる部分があるかもしれません。 ということで、GPU は PCI Express という拡張スロットに挿して使うことはご存じかもしれませんが、PCI Express は内部でどのようにつながっているのでしょうか。実はGPUパソコンを作るときにこの辺がけっこう重要になります。 今後、GPU２枚挿し、GPU４枚挿し、など本格的なGPUマシンを作るときにもこのあたり