(株)Qualiteg - Qualiteg Blog (Page 6)

AI-Business

[AI新規事業創出]Qualitegが考える、アイディア創造フレームワークを利活用する理由

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。アイディア創造を成功させるための体系的アプローチ「新規事業のアイディアが浮かばない」「ブレインストーミングを行っても成果が出ない」というお悩みをよく耳にします。多くの企業コンサルティングを手掛けてきた経験から、アイディア創造の失敗パターンとして最も多いのが「準備なしの突発的なブレスト」です。事業目的やターゲットユーザーを明確にしないまま思いつきで意見を出し合い、結果的に有効なアイディア創出に至らないケースが多発しています。今回は、Qualitegが提唱する「アイディア創造フレームワーク」について解説します。思いつきではなく、体系的なアプローチで新規事業開発を成功させるためのメソッドをご紹介します。アイディア創造の第一歩：ターゲットユーザーの明確化

IT & AIテクノロジー

推論速度を向上させる Speculative Decoding(投機的デコーディング)とは

こんにちは Qualiteg 研究部です。投機的デコーディングとは何か？投機的デコーディングは、大規模言語モデル（LLM）の推論速度を向上させる技術です。たいていのモデルを1.4～2.0倍程度、高速化できることが報告されています。このアプローチでは、小さなモデル（ドラフトモデル）を使用して初期の予測を行い、その結果を大きなモデル（ターゲットモデル）が検証することで、全体の推論プロセスを高速化します。ざっくりいうと、大きなモデルは計算負荷も高く計算速度も遅いので、まず、小さなモデルで高速に計算したあとで、その計算結果をうまくつかって大きなモデルでの計算負荷をさげ、スピードを向上させようというアイデアです。基本的に大きなモデルと、小さなモデルはサイズ以外は基本的にまったく同じネットワーク構造をしていることが前提となります。たとえば 70Bの Llama3 と 8B の Llama3 を組み合わせてつかうイメージです。当然70B の Llama3 の推論計算のほうが 8B よりも重たくなりますので、小さい8BのLlama3 で先回りして推論計算することで

日々の開発Tips

【GPT4o対応】OpenAI API のPythonサンプルコードと出力例

今回は、OpenAI の API 利用サンプルコードをご紹介します。 OpenAI API は OpenAI純正のAPI のみならず、vLLMなど他の推論エンジンでも OpenAI 準拠のAPIサーバーが公開されており、LLMサービングAPIのデファクトとなりつつありますので、コーディングのお作法をおさえておきましょう。 OpenAI の GPT シリーズのAPIにアクセスするための、シンプルなサンプルコードは以下のようになります。生成結果をストリーミングで逐次受信してみましょう。サンプルコード:クイックスタート import asyncio import os import traceback from openai import AsyncOpenAI async def main() -> None: try: # モデル名を指定 # model="gpt-4-turbo" # $10.00/MTok for input

GPUマシン自作

[自作日記20] SW編: コードをGPUで動かす

早速、GPUで Pythonコードを動かしてみましょう 4.3 Jupyter Notebook で GPUを活用したPytorchコードを記述する STEP1 端末（ターミナル）を開いて、PyTorchプロジェクト用のディレクトリを作る以下のコマンドを入力します mkdir pytorch_pj cd pytorch_pj STEP2 Jupyter Notebook の起動ディレクトリに移動したら jupyter notebook でJupyter Notebook(ジュピターノートブック)を起動します Jupyter Notebook はPythonのコード作成と実行、実行結果表示、自由コメント（Markdown）編集の3つの機能をそなえたツールで、気軽に利用できるので、Jupyter Notebook上で試してみましょう Jupyter Notebook が起動しました右上の新規をクリックして Python3 を選択します

AI数理

[AI数理]徹底的に交差エントロピー(7)

おはようございます！(株) Qualiteg 研究部です。今回は、交差エントロピーの計算をベクトルや行列で表現する方法について説明します！ 8章交差エントロピーとベクトル演算そもそも、なぜ、交差エントロピーをベクトルや行列で表現したいのでしょうか？それは、実際にニューラルネットワークをコンピュータープログラムとして実装するときに、訓練データや予測値はベクトル(1次元配列)や行列(2次元配列)といったN階テンソル(N次元配列)の形式で取り扱われるからです。なぜベクトルや行列かといえば、ニューラルネットワークの実用的な計算をするときにはデータを1件とりだしては、1件計算する　のではなく、多くのデータをベクトル（1次元配列）や行列（2次元配列）やそれ以上の多次元配列に詰めたのちに、まとめてドカっと計算するからです。（まとめてドカっと計算するのが得意な GPU があるからこそ、これだけ Deep Learning が進展した、ともいえます）そこで、今までで導出してきた交差エントロピーの計算をコンピュータで実装するときに備えて、 1次元配列にしてみます。

AI-Business

[AI新規事業創出] Qualitegが考える、アイディア創造で発散が必要な理由

新規事業のアイディア創出時には、部署内だけでなく、多様な職種や背景を持つ社内の関係者全員を巻き込むことが推奨されます。これにより、多角的な視点が確保され、実現可能性の高いアイディアが生まれやすくなります。また、プロジェクト初期からの協働はチーム間のコミュニケーションを強化し、各自が専門性を活かしたアイディア提供により、より具体的で効果的な解決策へと繋がるためです。

NumPy/PyTorch

推論時torch.tensor(sourceTensor)ではなくて、sourceTensor.clone().detach()を使おう

PyTorchのテンソル操作最適化: 警告メッセージの理解と解決こんにちは！ Qualiteg プロダクト開発部です。 PyTorch 1.13にて、次のような警告メッセージに遭遇しました UserWarning: To copy construct from a tensor, it is recommended to use sourceTensor.clone().detach() or sourceTensor.clone().detach().requires_grad_(True), rather than torch.tensor(sourceTensor). この記事では、この警告の意味を解説し、修正方針についてかきたいとおもいます。 torch.tensor() よりも .clone().detach() のほうがおすすめなのかそれは、PyTorchがテンソルと自動微分（オートグラッド）をどのように扱うかに関係があります。 torch.

[ChatStream] 同時リクエスト時の推論速度を手軽に計測する

こんにちは、Qualitegプロダクト開発部です。今回は RakutenAI-7B-Chat に5人同時リクエストしたときのパフォーマンスをお手軽に計測してみました。実験環境 * GPU: A5000 * LLM: RakutenAI-7B-Chat AWQ-8 * 推論環境: ChatStream v0.7.2 * 同時リクエスト数: 5 動画のほうがわかりやすいとおもいますので、実際の実験の様子はこちらの動画をつくりました。ご覧くださいませ動画にもありますように、ChatStreamUIのマルチタスク機能を有効にすると、同一画面内に複数のチャットウィンドウを開くことができます。マルチタスク機能は、複数のLLMを連携させて業務をすすめていく為の機能ですが、今回は、この特長を利用して、同じモデルに対して同時に生成リクエストを投げる用途で使ってみました。以前も、この機能をつかった簡易計測をご紹介したのですが、今回は、入力プロンプトの同期機能を使用したので、より簡単に実施できました。（１つのテキストボックスに入力プロンプトを入力すると、他のテキストボック

ChatStream Guide

LLMサンプリングにおける3つのペナルティ

[付録]ペナルティの比較ペナルティタイプ目的適用方法ペナルティの例 Repetition Penalty 特定のトークンやフレーズが繰り返されるのを防ぐ。過去に生成されたすべてのトークンのログ確率（logits）に対してペナルティを適用する。例えば、あるトークンがすでに生成された場合、そのトークンのログ確率をペナルティ値で割る（乗算）か、ペナルティ値を引く（減算）。 Frequency Penalty 生成されたトークンの出現頻度に基づいてペナルティを適用し、頻繁に出現するトークンを抑制する。各トークンが生成された回数に基づいてペナルティを適用する。トークンが出現するたびに、そのトークンの出現確率を低減させる。トークンが出現するたびに、そのトークンのログ確率をペナルティ値で累積的に割る（乗算）か、ペナルティ値を累積的に引く（減算）。 Presence Penalty すでに生成されたトークンが再度出現するのを防ぐ。トークンが一度でも生成されたかどうかに基づいてペナルティを適用する。一度生成されたトークンには再出現の際にペナルティが適用さ

IT & AIテクノロジー

Google Gemini 1.5 API の機能、特徴、価格と使い方

こんにちは！(株)Qualiteg テックブログです！【2024年7月2日更新版】本日は Google Gemini 1.5 Pro/ Gemini 1.5 Flash モデルの特徴、価格、Pythonをつかったテキスト生成について解説いたします。 Google Gemini とは Google Geminiは、Googleが提供する生成AIプラットフォームです。高品質なテキスト生成を行うためのAPIを提供し、さまざまなアプリケーションで自然な言語生成を利用できます。Geminiは多くの業界で使用されており、コンテンツ作成、カスタマーサポート、チャットボット、マーケティング、教育など、幅広い用途に対応しています。 APIキーの取得方法 Google Geminiを利用するためには、APIキーが必要です。以下の手順でAPIキーを取得できます。 Google AI Studio にアクセスして、手順にしたがい、Get API key でAPIキーを作成します。 https://aistudio.google.

AI-Business

[AI新規事業創出] Qualitegが考える、アイディア創造でやるべきこと、やってはいけないこと

私たちQualitegは、AI技術を活用したサービス開発を通じて、アイディア創造が新たな価値を生み出す基礎であると考えています。アイディア創造では、多様な視点を受け入れ、オープンマインドを持ち続けることが重要です。また、生成AIを活用しながら、異なる背景を持つチームメンバーからの積極的な参加を促します。早期のプロトタイピングと検証も推奨し、アイディアに固執せず、広い選択肢から最適なものを選び出す柔軟性を持つことが、成功への鍵です。

GPUマシン自作

[自作日記19] SW編: CUDA と Pytorch の導入

今回は CUDA と Pytorch をインストールします 4.2 CUDA(+cuDNN) と Pytorch の同時インストール Pytorch をインストールすると、CUDA と cuDNN を一緒にインストールしてくれるので、それを活用しましょう STEP1 PyTorchのインストールコマンドを生成するさて、ようやくお膳立てができたので、いよいよ機械学習ライブラリ PyTorch を導入しましょう ■ PyTorchのインストール以下にあるPyTorchのインストールガイドを開き、 https://pytorch.org/get-started/locally/ 以下のように選択式で　Pytorch　のインストールコマンドを生成することができます Category Selected Pytorch Build Stable (1.13.1) Your OS Linux Package Conda Language

日々の開発Tips

TensorRT-LLM v 0.11.0.dev2024051400 の動作確認

こんにちは、株式会社 Qualiteg プロダクト開発部です！ TensorRT-LLM は FasterTransformerの後継ともいえるNVIDIA製推論エンジンで、当社ChatStreamの推論エンジンとしても選択可能です。 vLLMと同じく新しいモデル対応が早く、既存モデルも豊富にサポートされています。昨日大型コミットが入りましたので動作確認をしました。（マルチモーダルモデルNeva,Kosmos2に対応など。） TensorRT-LLM のサポートしている、モデルアーキテクチャは以下のとおりです。 LLM Baichuan, BART, BERT, Blip2, BLOOM, ChatGLM, DBRX, FairSeq NMT, Falcon, Flan-T5, Gemma, GPT, GPT-J, GPT-Nemo, GPT-NeoX, InternLM, LLaMA, LLaMA-v2, Mamba, mBART, Mistral, MPT, mT5, OPT, Phi-1.5/Phi-2, Qwen, Qwen-VL, Replit

AI-Business

[AI新規事業創出]Qualitegが考える、アイディア創出の5つのステップとは

アイディア創出についての悩みを持つ多くのクライアントへ、アイディア創出のための5つのステップを解説します。初めに、アイディアを創出する目的を明確に設定し、それに基づいてアイディアを創造、深堀、サービス設計、ビジネスモデル設計、そして評価の順に進めます。このプロセスは、単にアイディアを出すだけでなく、実際に事業として成立するかを検証し、事業責任者との事前合意に基づく目的に沿ったアイディアを選定することを目指します。

IT & AIテクノロジー

【2024/5/14更新】LLM 推論 API 料金と推論速度

LLM を API から利用するときに従量課金される料金と生成速度一覧まとめました。順次更新予定です。【API 料金】は 100万トークンあたりのアウトプット側利用料を表示しています。【生成速度】は１秒間に何トークン生成できるかを示す " tokens/s"( tokens per second )で表示します。 (生成速度は入出力プロンプトの量・内容によって変動しますので、あくまで参考情報として表示しています) OpenAI GPT シリーズ * OpenAI GPTシリーズ * gpt-4o、100万トークンあたり $15.00 (約2250円)、 70 tokens/s * gpt-4-turbo-2024-04-09: 100万トークンあたり $30.00 (約4500円)、 45 tokens/s * gpt-3.5-turbo-0125: 100万トークンあたり $1.5

AI数理

[AI数理]徹底的に交差エントロピー(6)

おはようございます！(株) Qualiteg 研究部です。今回は、二値分類用の交差エントロピーについてみていきましょう！ 7章二値分類用交差エントロピー 7-1. 二値分類用交差エントロピー (データ1件対応版) さて、ここから、二値分類用の交差エントロピーを導きたいとおもいます。二値分類は入力されたデータが 2 つのうちどちらか、を予測するものです。まず話をシンプルにするために、バッチ版ではなく、式 $(5.2)$ に示した 1件版の交差エントロピーの式を思い出します。 $$ E = - \sum_{k=1}^{K} t_{k} \log y_{k} \tag{5.2、再掲} $$ $$ \begin{aligned} &K:分類の数,　t_{k}

Latest

[AI新規事業創出]Qualitegが考える、アイディア創造フレームワークを利活用する理由

推論速度を向上させる Speculative Decoding(投機的デコーディング)とは

【GPT4o対応】OpenAI API のPythonサンプルコードと出力例

[自作日記20] SW編: コードをGPUで動かす

[AI数理]徹底的に交差エントロピー(7)

[AI新規事業創出] Qualitegが考える、アイディア創造で発散が必要な理由

推論時torch.tensor(sourceTensor)ではなくて、sourceTensor.clone().detach()を使おう

[ChatStream] 同時リクエスト時の推論速度を手軽に計測する

LLMサンプリングにおける3つのペナルティ

Google Gemini 1.5 API の機能、特徴、価格と使い方

[AI新規事業創出] Qualitegが考える、アイディア創造でやるべきこと、やってはいけないこと

[自作日記19] SW編: CUDA と Pytorch の導入

TensorRT-LLM v 0.11.0.dev2024051400 の動作確認

[AI新規事業創出]Qualitegが考える、アイディア創出の5つのステップとは

【2024/5/14更新】LLM 推論 API 料金と推論速度

[AI数理]徹底的に交差エントロピー(6)