Latest

[AI新規事業創出]Qualitegオリジナル、自社のやるべき新規事業を見極めるためのMVV分析のやり方とは

AI-Business

[AI新規事業創出]Qualitegオリジナル、自社のやるべき新規事業を見極めるためのMVV分析のやり方とは

新規事業の企画では、「なぜ自社で行うべきか」を明確にすることが重要です。多くの企業がこの点を見落とし、役員会でのプレゼンテーションで失敗することがあります。企業のミッション（Mission）、ビジョン（Vision）、バリュー（Value）を理解し、それに基づいて新規事業の必要性や目的を定義することで、事業の方向性と一貫性を保ちながら、企業の長期的な目標に寄与する計画が立てられます。

By Join us, Michele on Qualiteg's adventure to innovation
[ChatStream] キューイングシステムと同時処理制限

ChatStream Guide

[ChatStream] キューイングシステムと同時処理制限

こんにちは！ (株)Qualiteg プロダクト開発部 です！ 本稿では、 ChatStream のキューイングシステムについてご説明いたします！ キューイングシステムとは ChatStream は多数同時アクセス要求が来たときに、 リクエストをキューイングし、同時に実行できる文章生成の数を制限することができます。 GPU や CPU の性能に応じて、文章生成処理の同時実行数を制限することで、良好な応答性能を得ることができます。 また同時実行数を超えるリクエストがあった場合はリクエストをキューイング（待ち行列に追加）し、 順次実行することで、負荷を適切にコントロールします。 同時実行とは 同時実行とは　1GPU で実行する場合には、正確には同時実行ではなく 並行実行(concurrent) となります。 同時実行数をセットすると、その数だけ 並行実行 されます。 たとえば、同時実行数の最大値が2に設定されている状態で、2人のユーザー1、ユーザー2　が同じタイミングにリクエストしてきた場合 2人のリクエストは 処理キュー （文章生成中をあらわす

By Qualiteg プロダクト開発部
[自作日記7] AI用GPUの選定

GPUマシン自作

[自作日記7] AI用GPUの選定

今回は、AIに適したグラフィックボード(GPU)の選定をします。 本編に行く前に、グラフィックボードとGPUの違いについて整理しておきましょう グラフィックボードは、コンピューターで画像処理やAIの計算を担当する重要なハードウェアで パソコンのPCI Express のスロットに挿入して使用するのが一般的です。 一方 GPU はグラフィックボードの主要な構成要素の１つで、グラフィックボードは以下のようなコンポーネントで構成されています。 1. GPUチップ - グラフィック処理の中心で、複雑な数学的計算を高速に実行します。 2. VRAM（ビデオRAM） - GPUが直接アクセスする専用メモリで、ディープラーニングでは、パラメータ（重みやバイアス）や計算過程を保持する役割があり非常に高速に動作します。 3. 冷却システム - GPUが生成する熱を効果的に放散するためのファンやヒートシンク。 グラフィックボードとGPUを同一視して書いている記事も多く、私たちもあまり厳密に分けて書いていないですが、実体としては↑のような感じですね。 さて、それでは Jun さんの買い物の

By Qualiteg Boot Camp
[ChatStream] Web API エンドポイントの実装

ChatStream Guide

[ChatStream] Web API エンドポイントの実装

こんにちは！ (株)Qualiteg プロダクト開発部 です！ 本稿では、 ChatStream を FastAPI の Web API として実装する方法についてご説明いたします！ エンドポイントの実装 /chat_stream という URL パスに、ストリーミングチャット用のWebエンドポイントをつくるには 以下のように handle_chat_stream_request を呼び出します。 これだけで、ユーザーからのリクエストは　文章生成の同時実行数を制御したストリーミングチャットの実装は完了です @app.post("/chat_stream") async def stream_api(request: Request): # handling FastAPI/Starlette's Request response = await chat_

By Qualiteg プロダクト開発部
[AI新規事業創出]Qualitegが考える、新規事業開発におけるゴール設定方法とは

AI-Business

[AI新規事業創出]Qualitegが考える、新規事業開発におけるゴール設定方法とは

新規事業開発のゴール設定には5つのステップがあります。1) MVV分析で企業の使命とビジョンを明確化、2) 新規事業承認の基準を考慮、3) 競合調査、4) 定量的ゴールの設定、5) 新規事業方向性シートの作成。これらのステップにより、明確なゴール設定と効果的な事業開発が可能となります。

By Join us, Michele on Qualiteg's adventure to innovation
[ChatStream] 生成と初期化

ChatStream Guide

[ChatStream] 生成と初期化

こんにちは (株)Qualiteg プロダクト開発本部です！ 本稿では、 ChatStream の生成と初期化についてご説明いたします！ ChatStream クラスは ChatStream パッケージのコアとなるクラスで、FastAPI/Starlette の Request を受け取り、 負荷制御をしながらストリーミングレスポンスをクライアントに送出する役割をもっています。 以下のように model,tokenizer,device, 最大同時処理数 num_of_concurrent_executions 、待ち行列の最大数 max_queue_size ,プロンプトクラス ChatPrompt を指定して初期化します tokenizer = AutoTokenizer.from_pretrained(model_path) model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.float16) model.

By Qualiteg プロダクト開発部
[自作日記6] メモリ選定

GPUマシン自作

[自作日記6] メモリ選定

今回は、メモリや周辺パーツを選定しましょう。 メモリ選定にも落とし穴があり、Junさんは見事落とし穴にハマってしまいました。さっそくみていきましょう。 ふー。やっとCPUとマザーボードが買えました。 あと何を買えばいいんだっけ。ということで、もう一度、先輩の置手紙をみてみます ① CPUは 12世代か13世代のどちらでもよい。 ② GPU中心でつかうため、CPU側の能力は i5程度で問題ない。 ③ マザーボードのチップセットは CPUが12世代ならZ690 か CPUが13世代ならZ790。ATX。 ④ CPUメモリは 64GB 以上。DDR4でもDDR5でもどちらでもOK ⑤ グラボはコンシューマー向けでOKだけど、最上位モデルに近いもの。 ⑥ SSD は 1T以上。 ⑦ 電源は 800W 以上、 80Plus Titanium ⑧ ケースはグラボがちゃんと入ることを確認すること！ ①～③までは無事かえましたので、あとはメモリ、グラボ、SSD、電源、ケースを買わないといけません。まだまだ、買い物ありますね。 おなかもすいてきたので、CP

By Qualiteg Boot Camp
AI数理は Minecraftの夢を見る?

AI数理

AI数理は Minecraftの夢を見る?

みなさまこんにちは、(株) Qualiteg 研究部です。 LLM関連の論文を読んでいると、なぞの数式、なぞの記号がたくさんでてきて、めまいがすることはないでしょうか？ 私も学生時代ニューラルネットを研究していましたが、それを理解するための数学的背景がミルフィーユのように多層になっており、面食らった記憶があります。 現代のLLMは、パーセプトロンや初期のニューラルネットの研究にくらべると、いや、分析系のディープラーニングベースAIの頃からみてもミルフィーユの層が10倍くらい厚く、LLMの仕組みを数学的に理解するには、その何重、何百という数学的理論基盤を理解しなければいけません。 （LLMを利用するだけなら、ミルフィーユをまるごと食べて「おいし～」って言っている状態ですが、じゃあ、その多層（の数理）になったミルフィーユを１層ずつ理解しながら作っていくのは食べるのにくらべてどれだけ大変か、ですね。） このように、LLMの実現には、機械学習の基礎編としての確率統計の話や、クラシックな機械学習の理論から、ディープラーニングで使う微分や離散化、RNN,LSTMなどを経てそこからトラ

By Qualiteg 研究部
[ChatStream] HTTP セッションミドルウェアの設定

ChatStream Guide

[ChatStream] HTTP セッションミドルウェアの設定

こんにちは！ (株)Qualiteg プロダクト開発部 です！ 本稿では、 ChatStream に セッションミドルウェアをセットし、Webアプリケーションをステートフルにする方法についてご説明いたします！ ChatStream では Qualiteg が開発した独自のセッションミドルウェアを使用しており、通常の Starlette 用のセッションミドルウェアよりも高い柔軟性を実現しています。（Java Servlet のセッション管理アプローチに近いです) セッションミドルウェア 開いたブラウザでWebチャットをするときにマルチラウンドの会話を成立するためには ChatPrompt（会話履歴） が複数ターンの会話のなかで更新されていく必要があります。 デフォルトでは、 ChatStream は HTTP セッションを使用してWebアプリケーションをステートフルにし、 ChatPrompt をブラウザが開いている間保持することができます。 HTTP セッションを使用するには、以下のように FastAPI のミドルウェアを登録します。 from fas

By Qualiteg プロダクト開発部
[AI新規事業創出]Qualitegが考える、質の良いアイディア創出のための3つのポイント

AI-Business

[AI新規事業創出]Qualitegが考える、質の良いアイディア創出のための3つのポイント

新規事業のコンサルティングの中で多くのクライアントから「質の良いアイディアの出し方」についてご質問をいただきます。Qualitegは長年の経験から、要件定義、業界情報の収集、効果的なファシリテーションを重要視しています。これによりアイディア創出の質が向上し、ブレスト時の空振りを防ぐことが可能になります。

By Join us, Michele on Qualiteg's adventure to innovation
[ChatSream] モデルをロードする方法

ChatStream Guide

[ChatSream] モデルをロードする方法

こんにちは！ (株)Qualiteg プロダクト開発部 です！ 本稿では、 ChatStream に HuggingFaceモデルを読み込むときのアプローチについてご説明いたします HuggingFace モデルのロード モデルごとに指定された方法で HuggingFace モデルを読み込みます。 model_path = "togethercomputer/RedPajama-INCITE-Chat-3B-v1" device = "cuda" # "cuda" / "cpu" tokenizer = AutoTokenizer.from_pretrained(model_path) model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.float16) model.to(device) こちらは、

By Qualiteg プロダクト開発部
[自作日記5] マザーボードはどれがいい？

GPUマシン自作

[自作日記5] マザーボードはどれがいい？

今回は、マザーボードの選定をします。 Junさんの買い物の続きをみるまえにもう一度チップセットについておさらいしておきましょう。 インテルの CoreシリーズCPUは 12世代、13世代ともに、CPUソケットが LGA 1700 となっており、多くの場合、12世代用のチップセットは13世代のCPUとも互換性がありますが、最新の機能や最適な性能を得るには、対応する世代のチップセットを使用することが推奨されます。 たとえば、12世代のインテルCoreシリーズCPU用に設計されている チップセットには以下のようなものがありますが、AI用途であればGPUを使いますので、Z690,H670のようなハイエンドチップセットを選ぶのが安全でしょう。 * Z690: 高性能チップセットで、オーバークロッキングサポート、PCIe 5.0 x16スロット、多数のPCIe 4.0レーン、高速なUSB 3.2 Gen 2x2接続、および高速ストレージのための複数のM.2スロットが提供されています。 * H670: オーバークロッキングはサポートしていませんが、それ以外の機能はZ690に近いチップセッ

By Qualiteg Boot Camp
GPUリッチと日本の現状

Blog

GPUリッチと日本の現状

世界的なGPU不足が深刻化しており、特に高性能なグラフィックスプロセッシングユニット（GPU）の確保が困難な状況に直面しています。この不足は、AI研究開発をはじめとする多くのテクノロジー業界に大きな影響を及ぼしており、企業や研究機関の間で新たな競争が生まれています。 GPU不足の現状 「GPUが非常に不足しているため、当社の製品を使用する人が少ないほど良いです」「GPUが不足しているため、当社の製品の使用量が減ってくれると嬉しいです」との声が業界内で聞かれるほど、GPUの調達は困難を極めています。 イーロン・マスクは、GPUの入手困難さを「麻薬よりも取得が難しい」と形容しています。 米国のビッグテックやメガベンチャーでは、GPUを万単位で確保しており、一例として1万台のGPUを確保するには約600億円の投資が必要とされています。これらの企業は、「GPUリッチ」と呼ばれるほどに、NVIDIAのA100やH100などの高性能GPUを大量に所有しています。 GPUリッチの影響 このGPUリッチな環境は、米国内でのAI研究開発競争を加速させています。ベイエリアのトップAI研究者

By Tomonori Misawa / CEO
[ChatStream] ChatPrompt の実装

ChatStream Guide

[ChatStream] ChatPrompt の実装

ChatPrompt とは こんにちは！ (株)Qualiteg プロダクト開発部 です！ 本稿では、 ChatPrompt の具体的な実装方法をご紹介いたします！ ChatPrompt とは、事前学習済言語モデル（以降、モデル）用のプロンプトを生成するためのクラスです。プロンプトクラスと呼びます。 たとえば、 redpajama-incite の場合は以下のようなプロンプトをつくり、モデルに入力します。 <human>: Who is Alan Turing <bot>: すると、モデルは続きの文章を生成し、以下を出力します。 <human>: Who is Alan Turing <bot>: He was a very honorable man.

By Qualiteg プロダクト開発部
[自作日記4] いざ秋葉原! CPU選び

GPUマシン自作

[自作日記4] いざ秋葉原! CPU選び

こんにちは、さっそく自作PCを作っていきましょう。 ここでは、Qualitegの若手社員 Jun さんにご登場いただき、GPUマシン自作体験記を赤裸々に語っていただくストーリーとして進めていきます！ Junです。ソフトウェアエンジニアです。 ある日、出社すると、席に１枚の封筒がおいてありました。 なんだこれ？ 開いて見ると、中に便箋がはいっており、 今時手書きで、しかも太めのマッキーで、こんなことが書いてありました。 Junさんへ、 Qualiteg へようこそ！ 当社ではメンバーは必ず１台はGPUマシンを自作するのが掟（おきて）となっています。 そこの封筒に45万円ありますので、これをもって秋葉原に行ってパソコンのパーツを買ってきてください。 以下にヒントを書いておきますので、よろしくおねがいします。 ① CPUは 12世代か13世代のどちらでもよい。 ② GPU中心でつかうため、CPU側の能力は i5程度で問題ない。 ③ マザーボードのチップセットは CPUが12世代ならZ690 か CPUが13世代ならZ790。ATX。 ④ CPUメ

By Qualiteg Boot Camp
See all