![[AI新規事業創出]Qualitegが考える、アイディア創出の5つのステップとは](https://images.unsplash.com/photo-1496053512767-4fdda61b3c49?crop=entropy&cs=tinysrgb&fit=max&fm=jpg&ixid=M3wxMTc3M3wwfDF8c2VhcmNofDE0fHxzdGVwfGVufDB8fHx8MTcxMzcwMDkxNnww&ixlib=rb-4.0.3&q=80&w=600)
AI-Business
アイディア創出についての悩みを持つ多くのクライアントへ、アイディア創出のための5つのステップを解説します。初めに、アイディアを創出する目的を明確に設定し、それに基づいてアイディアを創造、深堀、サービス設計、ビジネスモデル設計、そして評価の順に進めます。このプロセスは、単にアイディアを出すだけでなく、実際に事業として成立するかを検証し、事業責任者との事前合意に基づく目的に沿ったアイディアを選定することを目指します。
IT & AIテクノロジー
LLM を API から利用するときに従量課金される料金と生成速度一覧まとめました。順次更新予定です。 【API 料金】 は 100万トークンあたりのアウトプット側 利用料を表示しています。 【生成速度】 は１秒間に何トークン生成できるかを示す " tokens/s"( tokens per second )で表示します。 (生成速度は入出力プロンプトの量・内容によって変動しますので、あくまで参考情報として表示しています) OpenAI GPT シリーズ * OpenAI GPTシリーズ * gpt-4o、100万トークンあたり $15.00 (約2250円)、 70 tokens/s * gpt-4-turbo-2024-04-09: 100万トークンあたり $30.00 (約4500円)、 45 tokens/s * gpt-3.5-turbo-0125: 100万トークンあたり $1.5
![[AI数理]徹底的に交差エントロピー(6)](/content/images/size/w600/2024/04/ce06.png)
AI数理
おはようございます！(株) Qualiteg 研究部です。 今回は、二値分類用の交差エントロピーについてみていきましょう！ 7章 二値分類用 交差エントロピー 7-1. 二値分類用 交差エントロピー (データ1件対応版) さて、ここから、二値分類用の交差エントロピーを導きたいとおもいます。 二値分類は 入力されたデータが 2 つのうちどちらか、を予測するものです。 まず話をシンプルにするために、バッチ版ではなく、式 \((5.2)\) に示した 1件版の交差エントロピーの式を思い出します。 $$ E = - \sum_{k=1}^{K} t_{k} \log y_{k} \tag{5.2、再掲} $$ $$ \begin{aligned} &K:分類の数, t_{k}
![[ChatStream] 入出力プロンプトの予期せぬ変更に備え revision は固定する](/content/images/size/w600/2024/05/-----TIPs--1--1.png)
日々の開発Tips
こんにちは。(株) Qualiteg プロダクト開発部です。 GW中に、microsoft/Phi-3-mini-128k-instruct の tokenizer.json が変更になり、プロンプトのパースに失敗し、チャットのストリーミングができなくなる問題が発生しました。 実際には以下の変更がありました https://huggingface.co/microsoft/Phi-3-mini-128k-instruct/commit/8a362e755d2faf8cec2bf98850ce2216023d178a もともと、Miscrosoft さんが書いていた記事にあるプロンプトフォーマットと実際のモデルのプロンプトフォーマットが異なっていたため、当社では、実際のモデルにあわせるヒューリスティックな対応をしておりましたが、モデル（\w tokenizer) 側がもとの仕様に近い形に修正してきた模様です。 これによって、当初動作していたプロンプト変換器が動作しなくなるという現象が発生しました。 LLM は「スピードが命！」なので、トークナイザー含め完全にテストされた状態
![[自作日記18] SW編: Anacondaのインストール](/content/images/size/w600/2024/04/gpu_machine_jisaku_18.png)
GPUマシン自作
今回は、 Anaconda を導入します。 Python は一般的にアプリケーションごとに仮想環境を使用して実行しますが、仮想環境を構築できるものに Anaconda または Python純正仮想環境の venv のどちらかがよく使われます。 今回は、 Anaconda を導入してみたいとおもいます。 4.1 Anaconda（Python環境) のインストール STEP1 Anaconda3 をダウンロードする Chromeを開いて、以下を開きます https://www.anaconda.com/distribution/#download-section 自動的に Linux 用を表示してくれるので、それをダウンロードします STEP2 インストール用スクリプトを実行する cd downloads bash Anaconda3-2022.10-Linux-x86_64.sh エンターキーをおすｒと、 license agreement をスクロールさせることができます 内容問題なければ yes とタイプします
日々の開発Tips
bitsandbytes を pip install しようとしたときに、以下のようなエラーがでたときの対処方法です Could not load bitsandbytes native library: libcusparse.so.11: cannot open shared object file: No such file or directory Traceback (most recent call last): File "/home/mlu/.virtualenvs/ChatStream/lib/python3.10/site-packages/bitsandbytes/cextension.py", line 109, in <module>
![[AI新規事業創出] Qualitegオリジナル、効果的な顧客課題の比較方法とは](https://images.unsplash.com/14/unsplash_5243e9ef164a5_1.JPG?crop=entropy&cs=tinysrgb&fit=max&fm=jpg&ixid=M3wxMTc3M3wwfDF8c2VhcmNofDIxfHxjb21wYXJlfGVufDB8fHx8MTcxMzcwODAxOHww&ixlib=rb-4.0.3&q=80&w=600)
AI-Business
顧客課題の比較方法について、市場規模調査や自社とのシナジー、実現可能性の検討が重要です。各課題に対し市場の潜在性、自社の既存事業との関連性、技術やコストの面から評価し、最終的に調査結果を得点化して比較することで、参入すべき市場を明確にします。
ChatStream Guide
こんにちは、株式会社Qualitegプロダクト開発部です。 今日は 商用LLM サービングに欠かせない PagedAttention 技術をご紹介します はじめに PagedAttention は当社にとって非常に重要な技術です PagedAttentionを活用するとLLMでの文章生成において GPUメモリの利用効率をあげ 、そのぶん単位GPUあたりの同時に捌けるリクエストを増やすことができます。 当社は「ChatStream」という商用のLLMサービングプラットフォームを開発・提供しているため、多ユーザーからの同時リクエストによる高負荷環境でのLLMサービング(文章生成の提供)は、ドドド真ん中の課題ということになります。 PagedAttention登場以前の従来の並列生成はKVキャッシュとよばれる”リクエストごとに発生する大きなGPUメモリ消費”との戦いでした。 (KVキャッシュは transfomerのmodelを生で叩くときに past_key_values として登場します） つまりモデルのパラメータとは別に発生する推論時のメモリ消費です。 これが同時に
News
２０２４年４月２５日、株式会社QualitegはNVIDIA Inceptionプログラムに採択されました。これにより、私たちは世界中の革新的なスタートアップとともに、先進技術の開発と普及に向けて新たな一歩を踏み出すこととなりました。 LLMサービス開発への期待 NVIDIA Inceptionプログラムに採用されたことで、当社は大規模言語モデル（LLM）サービスの開発事業者として、更なる飛躍が期待されております。 特に、NVIDIAが提供する高度なAIリソースとツールを活用することで、以下のような可能性が広がります。 1. 高性能なAIモデルの開発 NVIDIAのAI Foundation Modelsを利用することで、最先端のAIモデルを迅速に構築し、カスタマイズして展開することができます。これにより、業界をリードする革新的なソリューションの提供が可能となります。 2. エンジニアリングリソースの強化 NVIDIA Developer Programに参加することで、エンジニアは最新のツールやリソース、専門家によるサポートを受けることができま
日々の開発Tips
モデル読み込みで torch_dtype=torch.bfloat16 を指定したとき "triu_tril_cuda_template" not implemented for 'BFloat16' が発生する場合の対処法です 以下は llama3 で発生したときのログです。 File "/home/mlu/.virtualenvs/ChatStream/lib/python3.10/site-packages/torch/nn/modules/module.py", line 1501, in _call_impl return forward_call(*args, **kwargs) File "
![[ChatStream] meta-llama/Meta-Llama-3-8B-Instruct 用の ChatPromptクラス](/content/images/size/w600/2024/04/ChatPrompt--4-.png)
ChatStream Guide
昨日(2024/4/19) に発表になった Llama3 用の ChatPrompt クラス※をご紹介します。 from chatstream import AbstractChatPrompt SYSTEM_PROMPT = """\ You are a helpful, respectful and honest assistant. Always answer as helpfully as possible, while being safe. Your answers should not include any harmful, unethical, racist, sexist, toxic, dangerous, or illegal
![[自作日記17] SW編: NVIDIA Display Driver を GPUマシンの Ubuntu にインストールする](/content/images/size/w600/2024/04/gpu_machine_jisaku_17.png)
GPUマシン自作
こんにちは！ 今回は Ubuntu で GPU を使用できるようにするため、 NVIDIA Display Drive をインストールしていきます 3.2 Nvidia Display Driverのインストール 今回購入した GPU NVIDIA RTX 3090 Ti 24G に対応したディスプレイドライバーをインストールしていきます！ 3.2.1 ドライバーのダウンロード 以下のサイトにアクセスして RTX 3090 Ti 用のドライバをさがします https://www.nvidia.co.jp/Download/index.aspx?lang=jp 自分の環境(RTX 3090 Ti,Linux)を選択して、 探す をクリックするとドライバをさがしてくれるので便利です
![[AI数理]徹底的に交差エントロピー(5)](/content/images/size/w600/2024/04/ce05.png)
AI数理
おはようございます！(株) Qualiteg 研究部です。 今回は、前回から拡張して データN件対応版の多値分類用 交差エントロピー を実際のデータをみながら導いていきたいとおもいます！ 6章 多値分類用 交差エントロピー (データN件対応版) 実際の学習では、いちどに複数件の訓練データを入力して得られた複数の結果をまとめて評価するバッチ学習を行うため、複数の訓練データから得られた結果を同時に計算できるバージョンの交差エントロピーも考えておきます。 以下のような複数の訓練データの場合を考えます。 複数の訓練データなので、1件ずつの訓練データを見分けられるように番号をふった データ番号 列を導入しました。みやすくするため正解のデータに背景色をつけています。 この4件のデータを順番にモデルに入れたときの出力を計算すると以下のようになりました。予測値 列を右に追加しています。 さて、この4件の交差エントロピーを求めてみます。 これらのデータから1つずつ交差エントロピーを計算して、その値を合計すれば、4件ぶんの交差エントロピーの合計値を求めることができるので、特に
![[AI新規事業創出] Qualitegオリジナル、効果的な顧客課題の評価方法とは](https://images.unsplash.com/photo-1544819679-57b273c027a3?crop=entropy&cs=tinysrgb&fit=max&fm=jpg&ixid=M3wxMTc3M3wwfDF8c2VhcmNofDE0fHxldmFsdWF0aW9ufGVufDB8fHx8MTcxMzcwODA4MXww&ixlib=rb-4.0.3&q=80&w=600)
AI-Business
多くの企業が顧客の課題を担当者の直観に頼り、誤解を招くことが多いです。課題選定には市場やユーザーのニーズを深く理解し、新規事業の目的と合致することが重要です。Qualitegの提案では、事業責任者との初期合意に基づき、目的に適した課題を選ぶべきと考えています。
![[AI新規事業創出]Qualiteg流、顧客課題仮説探索インタビューをベースにした顧客課題設定とは](https://images.unsplash.com/photo-1512758017271-d7b84c2113f1?crop=entropy&cs=tinysrgb&fit=max&fm=jpg&ixid=M3wxMTc3M3wwfDF8c2VhcmNofDJ8fGJ1c2luZXNzJTIwcHJvYmxlbXxlbnwwfHx8fDE3MTM3MDA3MzV8MA&ixlib=rb-4.0.3&q=80&w=600)
AI-Business
新規事業開発のコンサルティングにおいて、多くの方がすぐにアイディア出しを行いたがる傾向にあります。実際は顧客の課題を把握し、ファクトに基づいたアプローチが質の高い企画につながります。このプロセスには顧客のニーズの再確認、インサイトの抽出、そして「How Might We」というフレームワークを用いた課題の発散が含まれます。
日々の開発Tips
こんにちは。Qualiteg プロダクト開発部です。 概要 * ChatStream に必要な PyTorch のインストールですが、 Python 3.12 だとうまくいかないという報告があります * Python 3.11 までならインストールはうまくいきました エラーメッセージ pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 とすると、以下のようなエラーがでる ERROR: Could not find a version that satisfies the requirement torch (from versions: none) ERROR: No matching distribution found