Latest

[AI新規事業創出] Qualitegセレクション：アイディア創造編②SCAMPERの活用術

AI-Business

[AI新規事業創出] Qualitegセレクション：アイディア創造編②SCAMPERの活用術

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。 新規事業の立ち上げを考えている起業家や企業の皆さん、アイディア出しに行き詰まっていませんか？今回はSCAMPERという強力な発想法を紹介します。 SCAMPERを活用すれば、既存の製品やサービスを起点に、革新的なビジネスアイディアを生み出すことができます。日本ではあまりなじみのない手法ですが、シリコンバレーではよく使われる手法なのでぜひマスターしてみてくださいね。 SCAMPERとは何か？ SCAMPERは以下の7つの思考プロセスの頭文字を取った造語です: 1. Substitute (代替) 2. Combine (結合) 3. Adapt (適応) 4. Modify (修正) 5. Put to another use (別の用途)

By Join us, Michele on Qualiteg's adventure to innovation
東京ビジネスフロンティア産業交流展2024　共同出展に採択されました！

News

東京ビジネスフロンティア産業交流展2024　共同出展に採択されました！

株式会社Qualiteg（以下、当社）は、首都圏最大級の中小企業展示会「産業交流展2024」の東京ビジネスフロンティアパビリオンへの出展企業として採択されましたことをお知らせいたします。 産業交流展2024について 産業交流展は、首都圏（東京都・埼玉県・千葉県・神奈川県）に事業所を有する中小企業の優れた技術や製品を一堂に展示する国内有数の展示会です。今年は通常の展示分野に加え、特別テーマとして「スタートアップ（創業10年以内の企業）」や「新製品・新サービス（3年以内に発表）」を展開する約700社が集結する予定です。 開催概要 * 会期： * リアル展：2024年11月20日(水)～22日(金) * 20日・21日：10:00～17:00 * 22日：10:00～16:00 * オンライン展：2024年11月6日(水)～29日(金) * 会場：東京ビッグサイト西展示棟 * 入場料：

By Qualiteg ニュース
AIキャラクター考・技術とSFから考える未来像

Blog

AIキャラクター考・技術とSFから考える未来像

はじめに 近年、大規模言語モデル（LLM）の急速な発展により、AIの能力は飛躍的に向上しました。これらのLLMを活用したAIキャラクターの開発が世界中で始まっており、従来のAIとは一線を画す、より自然で知的な対話が可能なキャラクターの創造が現実のものとなりつつあります。 当社、(株)Qualiteg でも、この分野における基礎的な研究開発を開始しました。 我々は、最新のLLM技術を応用し、より人間らしい対話や感情表現が可能なAIキャラクターの開発に取り組んでいます。この研究は、ユーザーとAIの新しい関係性を模索し、AIキャラクターがもたらす可能性と課題を探ることを目的としています。 しかし、この技術の発展には慎重な姿勢も必要です。AIキャラクターの高度化に伴い、プライバシーの問題、依存症のリスク、そして人間関係への影響など、様々な倫理的・社会的課題の発生が予想されます。AIキャラクターの登場は、人間とテクノロジーの関係性に新たな展開をもたらしますが、この革新的な技術には光と影があり、多くの人々が複雑な感情を抱くことになると予測します。 本記事では、AIキャラクターに対してまず

By Tomonori Misawa / CEO
FP8やFP4のネイティブサポートと vLLM をつかった "fp8" 量子化

FP8やFP4のネイティブサポートと vLLM をつかった "fp8" 量子化

こんにちは、(株)Qualiteg プロダクト開発部です 最新モデルがリリースされたとき、推論速度を速くするために、いろいろな手法で量子化したり、複数の推論エンジンを使い分けたりしながら、正解をさがしにいくことが多いのですが、今回はそんな中で以下のような事象が発生いたしました。 当社もありとあらゆるGPUを取り揃えているわけではないので、あー、そういうことかぁ、と思ったので、本ブログにいたしました。 発生したエラー vLLM 0.5.1 であるLLMをロードしようとしたときに発生したときに、以下のようなエラーが発生しました ValueError: The quantization method fp8 is not supported for the current GPU. Minimum capability: 89. Current capability: 86 原因は FP8 に対応していないGPU世代 GPUは NVIDIA RTX-A6000 で、以下のように OpenAI 互換サーバーで

By Qualiteg プロダクト開発部
CyberAgentLM3-22B-Chat(cyberagent/calm3-22b-chat) 徹底解説

ChatStream

CyberAgentLM3-22B-Chat(cyberagent/calm3-22b-chat) 徹底解説

こんにちは、(株)Qualiteg プロダクト開発部です。 本日は昨日プレスリリースされた サイバーエージェント社の最新LLM CyberAgentLM3-22B-Chat(cyberagent/calm3-22b-chat) について、ファーストルックレポートを行います。 デモ 実際に、以下サイトで calm3-22b-chat とチャットお試し可能です https://chatstream.net/?ws_name=chat_app&mult=0&ontp=1&isync=1&model_id=calm3_22b_chat オープン・フルスクラッチモデルでリーダーボード最高評価 本モデルは、このモデルは、既存モデルをベースに用いずスクラッチで開発を行なった225億パラメータのモデルで Nejumi LLM リーダーボード3の総合評価で 700億パラメータのMeta-Llama-3-70B-Instructと同等性能となっているようです。 継続事前学習ではなく、フルスクラッチの日本語ＬＬＭという点にも注目です。 以下は日本語ＬＬＭリーダーボード１

By Qualiteg プロダクト開発部
【ChatStream】大容量のLLMの推論に必要なGPUサーバー構成

【ChatStream】大容量のLLMの推論に必要なGPUサーバー構成

大容量のLLM（大規模言語モデル）の推論に必要なGPUサーバー構成とChatStreamとの連携について詳しく動画で解説しています。 特に、Llama3-70Bモデルを例に、そのメモリ要件（140GBのGPUメモリ）と、この要件を満たすために必要なGPUサーバーおよびGPUクラスターの構成について、取り扱いやすい NVIDIA RTX A6000 GPUを使用した例について説明します。 また、モデル並列化技術（テンソル並列化、パイプライン並列化、データ並列化）とその推論エンジンの選択についても触れ、実際に複数のGPUサーバーを使ったクラスター構成がどのように推論処理を効率的に行うかを示します。 最後に、ChatStreamのLLMノードとは何か、そしてそれをどのようにスケーリングして大量の同時リクエストに対応するかについても解説します。こ の動画は、高性能を必要とするLLMのデプロイメントと運用に興味がある方に特に有益です。

By Join us, Michele on Qualiteg's adventure to innovation
RuntimeError: implement_array_function method already has a docstring というエラーが発生したとき

日々の開発Tips

RuntimeError: implement_array_function method already has a docstring というエラーが発生したとき

以下のようなエラーが発生したとき、 RuntimeError: implement_array_function method already has a docstring このエラーメッセージは、numpyパッケージ内で発生している問題のようです。 特に、implement_array_functionメソッドに既にドキュメンテーションが存在しているというエラーで、これは通常、互換性のないバージョンのnumpyを使用している場合に発生するようです。 次の対策でエラーは発生しなくなりました pip install numpy==1.19.5

By Qualiteg プロダクト開発部
ChatStream🄬でLlama-3-Elyza-JP-8B を動かす

ChatStream

ChatStream🄬でLlama-3-Elyza-JP-8B を動かす

こんにちは、本日は Llama-3-Elyza-JP-8B を使ってみました。 昨日 2024年6月26日に発表(https://prtimes.jp/main/html/rd/p/000000046.000047565.html)された Llama-3-Elyza-JP-8B は 70B 版では「GPT-4」を上回る性能の日本語LLMといわれています。 今回、当社でも Playground 環境に Llama-3-Elyza-JP-8B を搭載して試してみましたのでご紹介します。 70B(700億パラメータ)版は GPT-4 を上回るとのことですので、8B(80億パラメータ）版はGPT-3.5 と比較してみることにいたしました。 （性能比較は https://note.com/elyza/n/n360b6084fdbd の記事に詳しく書いてあります。） AWQ量子化版を使用してみる 今回は、A4000

By Qualiteg プロダクト開発部
AttributeError: module 'torch._dynamo' has no attribute 'mark_static_address' が発生したときの対処法

日々の開発Tips

AttributeError: module 'torch._dynamo' has no attribute 'mark_static_address' が発生したときの対処法

以下のようなエラーが出た場合の対処法 File "/venv/Lib/site-packages/torch/utils/_contextlib.py", line 115, in decorate_context return func(*args, **kwargs) ^^^^^^^^^^^^^^^^^^^^^ File "/venv/Lib/site-packages/transformers/generation/utils.py", line 1744, in generate model_kwargs["past_key_values"] = self._get_cache( ^^^^^^^^^^^^^^^^ File "/venv/Lib/site-packages/transformers/

By Qualiteg プロダクト開発部
[AI新規事業創出]Qualitegセレクション：アイディア創造編①Qualiteg式オンラインブレストの活用術

AI-Business

[AI新規事業創出]Qualitegセレクション：アイディア創造編①Qualiteg式オンラインブレストの活用術

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。 今日は私のお気に入りのブレスト方法である「Qualiteg式オンラインブレスト」の活用術についてお話ししたいと思います。 場所を変えて気分を変えても良いアイディアは生まれない！？ よく、「金曜日は1日ブレストしよう！」という上司の掛け声とともに、いつもと違う雰囲気なら良いアイディアも出るかもしれないといってホテルの会議室などを予約されて1日缶詰でブレストしたが、期待する結果が出なかったとおっしゃるクライアントが非常に多いです。 ブレインストーミングは複数の参加者が自由にアイデアを出し合うことで、新しい発想や解決策を見つける手法です。 批判や評価を一時的に排除し、量を重視して多くのアイデアを集めることが目的です。1950年代に広告業界で生まれたこの手法は

By Join us, Michele on Qualiteg's adventure to innovation
NVIDIA GPU と Capability Level

日々の開発Tips

NVIDIA GPU と Capability Level

NVIDIA GPU の Capability Level の一覧です。 推論エンジンがサポートする各種アクセラレーション機能は Capability Level により搭載されるハードウェアアクセラレータや専用機能が異なります。 データセンター/プロ向けGPU GeForce GPU Capability Level 世代名 NVIDIA B200 - 100 Blackwell NVIDIA B100 - 100 Blackwell NVIDIA H200 - 90 Hopper NVIDIA H100 - 90 Hopper NVIDIA L4 - 89 Ada Lovelace NVIDIA L40 - 89 Ada Lovelace RTX

By Qualiteg プロダクト開発部
[AI新規事業創出]Qualitegが考える、アイディア創造フレームワークを利活用する理由

AI-Business

[AI新規事業創出]Qualitegが考える、アイディア創造フレームワークを利活用する理由

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。 アイディア創造を行う際に皆さんどのようなステップで検討されていますか？多くの企業様のコンサルティングをさせていただいている中で、最も多いのが、「突然のブレスト」ですが、どのような事業を行いたいか＝誰に何を売っていきたいのかを最初に考えずに思い付きのままに意見を出し合い、結果的に無駄な時間を過ごしてしまい良いアイディアが出なかったとおっしゃる方も多いです。 本日はアイディア創造は思い付きではなく、きちんとフレームワークを利活用すべしと考えるQualitegのメソッドをお伝えしたいと思います。 まず、初めに行うことは 「誰に商品やサービスを提供したいか」を考えることです。 ターゲットユーザーはどのようなことを考えているかを理解し、仮説課題やニーズの確からしさ

By Join us, Michele on Qualiteg's adventure to innovation
推論速度を向上させる Speculative Decoding(投機的デコーディング)とは

IT & AIテクノロジー

推論速度を向上させる Speculative Decoding(投機的デコーディング)とは

こんにちは Qualiteg 研究部です。 投機的デコーディングとは何か？ 投機的デコーディングは、大規模言語モデル（LLM）の推論速度を向上させる技術です。 たいていのモデルを1.4～2.0倍程度、高速化できることが報告されています。 このアプローチでは、小さなモデル（ドラフトモデル）を使用して初期の予測を行い、その結果を大きなモデル（ターゲットモデル）が検証することで、全体の推論プロセスを高速化します。 ざっくりいうと、 大きなモデルは計算負荷も高く計算速度も遅いので、まず、小さなモデルで高速に計算したあとで、その計算結果をうまくつかって大きなモデルでの計算負荷をさげ、スピードを向上させようというアイデアです。 基本的に大きなモデルと、小さなモデルはサイズ以外は基本的にまったく同じネットワーク構造をしていることが前提となります。 たとえば 70Bの Llama3 と 8B の Llama3 を組み合わせてつかうイメージです。 当然70B の Llama3 の推論計算のほうが 8B よりも重たくなりますので、小さい8BのLlama3 で先回りして推論計算することで

By Qualiteg 研究部
【GPT4o対応】OpenAI API のPythonサンプルコードと出力例

日々の開発Tips

【GPT4o対応】OpenAI API のPythonサンプルコードと出力例

今回は、OpenAI の API 利用サンプルコードをご紹介します。 OpenAI API は OpenAI純正のAPI のみならず、vLLMなど他の推論エンジンでも OpenAI 準拠のAPIサーバーが公開されており、LLMサービングAPIのデファクトとなりつつありますので、コーディングのお作法をおさえておきましょう。 OpenAI の GPT シリーズのAPIにアクセスするための、シンプルなサンプルコードは以下のようになります。生成結果をストリーミングで逐次受信してみましょう。 サンプルコード:クイックスタート import asyncio import os import traceback from openai import AsyncOpenAI async def main() -> None: try: # モデル名を指定 # model="gpt-4-turbo" # $10.00/MTok for input

By Qualiteg プロダクト開発部
[自作日記20] SW編: コードをGPUで動かす

GPUマシン自作

[自作日記20] SW編: コードをGPUで動かす

早速、GPUで Pythonコードを動かしてみましょう 4.3 Jupyter Notebook で GPUを活用したPytorchコードを記述する STEP1 端末（ターミナル）を開いて、PyTorchプロジェクト用のディレクトリを作る 以下のコマンドを入力します mkdir pytorch_pj cd pytorch_pj STEP2 Jupyter Notebook の起動 ディレクトリに移動したら jupyter notebook でJupyter Notebook(ジュピターノートブック)を起動します Jupyter Notebook はPythonのコード作成と実行、実行結果表示、自由コメント（Markdown）編集の3つの機能をそなえたツールで、気軽に利用できるので、Jupyter Notebook上で試してみましょう Jupyter Notebook が起動しました 右上の 新規 をクリックして Python3 を選択します

By Qualiteg Boot Camp
[AI数理]徹底的に交差エントロピー(7)

AI数理

[AI数理]徹底的に交差エントロピー(7)

おはようございます！(株) Qualiteg 研究部です。 今回は、交差エントロピーの計算をベクトルや行列で表現する方法について説明します！ 8章 交差エントロピーとベクトル演算 そもそも、なぜ、交差エントロピーをベクトルや行列で表現したいのでしょうか？ それは、実際にニューラルネットワークをコンピュータープログラムとして実装するときに、訓練データや予測値はベクトル(1次元配列)や行列(2次元配列)といったN階テンソル(N次元配列)の形式で取り扱われるからです。 なぜベクトルや行列かといえば、ニューラルネットワークの実用的な計算をするときにはデータを1件とりだしては、1件計算する　のではなく、多くのデータをベクトル（1次元配列）や行列（2次元配列）やそれ以上の多次元配列に詰めたのちに、まとめてドカっと計算するからです。 （まとめてドカっと計算するのが得意な GPU があるからこそ、これだけ Deep Learning が進展した、ともいえます） そこで、今までで導出してきた交差エントロピーの計算をコンピュータで実装するときに備えて、 1次元配列 にしてみます。

By Qualiteg 研究部
See all