News
株式会社Qualiteg（以下、当社）は、首都圏最大級の中小企業展示会「産業交流展2024」の東京ビジネスフロンティアパビリオンへの出展企業として採択されましたことをお知らせいたします。 産業交流展2024について 産業交流展は、首都圏（東京都・埼玉県・千葉県・神奈川県）に事業所を有する中小企業の優れた技術や製品を一堂に展示する国内有数の展示会です。今年は通常の展示分野に加え、特別テーマとして「スタートアップ（創業10年以内の企業）」や「新製品・新サービス（3年以内に発表）」を展開する約700社が集結する予定です。 開催概要 * 会期： * リアル展：2024年11月20日(水)～22日(金) * 20日・21日：10:00～17:00 * 22日：10:00～16:00 * オンライン展：2024年11月6日(水)～29日(金) * 会場：東京ビッグサイト西展示棟 * 入場料：
Blog
はじめに 近年、大規模言語モデル（LLM）の急速な発展により、AIの能力は飛躍的に向上しました。これらのLLMを活用したAIキャラクターの開発が世界中で始まっており、従来のAIとは一線を画す、より自然で知的な対話が可能なキャラクターの創造が現実のものとなりつつあります。 当社、(株)Qualiteg でも、この分野における基礎的な研究開発を開始しました。 我々は、最新のLLM技術を応用し、より人間らしい対話や感情表現が可能なAIキャラクターの開発に取り組んでいます。この研究は、ユーザーとAIの新しい関係性を模索し、AIキャラクターがもたらす可能性と課題を探ることを目的としています。 しかし、この技術の発展には慎重な姿勢も必要です。AIキャラクターの高度化に伴い、プライバシーの問題、依存症のリスク、そして人間関係への影響など、様々な倫理的・社会的課題の発生が予想されます。AIキャラクターの登場は、人間とテクノロジーの関係性に新たな展開をもたらしますが、この革新的な技術には光と影があり、多くの人々が複雑な感情を抱くことになると予測します。 本記事では、AIキャラクターに対してまず
こんにちは、(株)Qualiteg プロダクト開発部です 最新モデルがリリースされたとき、推論速度を速くするために、いろいろな手法で量子化したり、複数の推論エンジンを使い分けたりしながら、正解をさがしにいくことが多いのですが、今回はそんな中で以下のような事象が発生いたしました。 当社もありとあらゆるGPUを取り揃えているわけではないので、あー、そういうことかぁ、と思ったので、本ブログにいたしました。 発生したエラー vLLM 0.5.1 であるLLMをロードしようとしたときに発生したときに、以下のようなエラーが発生しました ValueError: The quantization method fp8 is not supported for the current GPU. Minimum capability: 89. Current capability: 86 原因は FP8 に対応していないGPU世代 GPUは NVIDIA RTX-A6000 で、以下のように OpenAI 互換サーバーで
ChatStream
こんにちは、(株)Qualiteg プロダクト開発部です。 本日は昨日プレスリリースされた サイバーエージェント社の最新LLM CyberAgentLM3-22B-Chat(cyberagent/calm3-22b-chat) について、ファーストルックレポートを行います。 デモ 実際に、以下サイトで calm3-22b-chat とチャットお試し可能です https://chatstream.net/?ws_name=chat_app&mult=0&ontp=1&isync=1&model_id=calm3_22b_chat オープン・フルスクラッチモデルでリーダーボード最高評価 本モデルは、このモデルは、既存モデルをベースに用いずスクラッチで開発を行なった225億パラメータのモデルで Nejumi LLM リーダーボード3の総合評価で 700億パラメータのMeta-Llama-3-70B-Instructと同等性能となっているようです。 継続事前学習ではなく、フルスクラッチの日本語ＬＬＭという点にも注目です。 以下は日本語ＬＬＭリーダーボード１
大容量のLLM（大規模言語モデル）の推論に必要なGPUサーバー構成とChatStreamとの連携について詳しく動画で解説しています。 特に、Llama3-70Bモデルを例に、そのメモリ要件（140GBのGPUメモリ）と、この要件を満たすために必要なGPUサーバーおよびGPUクラスターの構成について、取り扱いやすい NVIDIA RTX A6000 GPUを使用した例について説明します。 また、モデル並列化技術（テンソル並列化、パイプライン並列化、データ並列化）とその推論エンジンの選択についても触れ、実際に複数のGPUサーバーを使ったクラスター構成がどのように推論処理を効率的に行うかを示します。 最後に、ChatStreamのLLMノードとは何か、そしてそれをどのようにスケーリングして大量の同時リクエストに対応するかについても解説します。こ の動画は、高性能を必要とするLLMのデプロイメントと運用に興味がある方に特に有益です。
日々の開発Tips
以下のようなエラーが発生したとき、 RuntimeError: implement_array_function method already has a docstring このエラーメッセージは、numpyパッケージ内で発生している問題のようです。 特に、implement_array_functionメソッドに既にドキュメンテーションが存在しているというエラーで、これは通常、互換性のないバージョンのnumpyを使用している場合に発生するようです。 次の対策でエラーは発生しなくなりました pip install numpy==1.19.5
ChatStream
こんにちは、本日は Llama-3-Elyza-JP-8B を使ってみました。 昨日 2024年6月26日に発表(https://prtimes.jp/main/html/rd/p/000000046.000047565.html)された Llama-3-Elyza-JP-8B は 70B 版では「GPT-4」を上回る性能の日本語LLMといわれています。 今回、当社でも Playground 環境に Llama-3-Elyza-JP-8B を搭載して試してみましたのでご紹介します。 70B(700億パラメータ)版は GPT-4 を上回るとのことですので、8B(80億パラメータ）版はGPT-3.5 と比較してみることにいたしました。 （性能比較は https://note.com/elyza/n/n360b6084fdbd の記事に詳しく書いてあります。） AWQ量子化版を使用してみる 今回は、A4000
日々の開発Tips
以下のようなエラーが出た場合の対処法 File "/venv/Lib/site-packages/torch/utils/_contextlib.py", line 115, in decorate_context return func(*args, **kwargs) ^^^^^^^^^^^^^^^^^^^^^ File "/venv/Lib/site-packages/transformers/generation/utils.py", line 1744, in generate model_kwargs["past_key_values"] = self._get_cache( ^^^^^^^^^^^^^^^^ File "/venv/Lib/site-packages/transformers/
![[AI新規事業創出]Qualitegセレクション：アイディア創造編①Qualiteg式オンラインブレストの活用術](https://images.unsplash.com/photo-1588856122867-363b0aa7f598?crop=entropy&cs=tinysrgb&fit=max&fm=jpg&ixid=M3wxMTc3M3wwfDF8c2VhcmNofDF8fGJyYWluc3Rvcm1pbmd8ZW58MHx8fHwxNzEzNzAxNTQ4fDA&ixlib=rb-4.0.3&q=80&w=600)
AI-Business
Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。 今日は私のお気に入りのブレスト方法である「Qualiteg式オンラインブレスト」の活用術についてお話ししたいと思います。 場所を変えて気分を変えても良いアイディアは生まれない！？ よく、「金曜日は1日ブレストしよう！」という上司の掛け声とともに、いつもと違う雰囲気なら良いアイディアも出るかもしれないといってホテルの会議室などを予約されて1日缶詰でブレストしたが、期待する結果が出なかったとおっしゃるクライアントが非常に多いです。 ブレインストーミングは複数の参加者が自由にアイデアを出し合うことで、新しい発想や解決策を見つける手法です。 批判や評価を一時的に排除し、量を重視して多くのアイデアを集めることが目的です。1950年代に広告業界で生まれたこの手法は
日々の開発Tips
NVIDIA GPU の Capability Level の一覧です。 推論エンジンがサポートする各種アクセラレーション機能は Capability Level により搭載されるハードウェアアクセラレータや専用機能が異なります。 データセンター/プロ向けGPU GeForce GPU Capability Level 世代名 NVIDIA B200 - 100 Blackwell NVIDIA B100 - 100 Blackwell NVIDIA H200 - 90 Hopper NVIDIA H100 - 90 Hopper NVIDIA L4 - 89 Ada Lovelace NVIDIA L40 - 89 Ada Lovelace RTX
![[AI新規事業創出]Qualitegが考える、アイディア創造フレームワークを利活用する理由](https://images.unsplash.com/photo-1508004680771-708b02aabdc0?crop=entropy&cs=tinysrgb&fit=max&fm=jpg&ixid=M3wxMTc3M3wwfDF8c2VhcmNofDJ8fGZyYW1lfGVufDB8fHx8MTcxMzcwMTQ2NHww&ixlib=rb-4.0.3&q=80&w=600)
AI-Business
Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。 アイディア創造を成功させるための体系的アプローチ 「新規事業のアイディアが浮かばない」「ブレインストーミングを行っても成果が出ない」というお悩みをよく耳にします。多くの企業コンサルティングを手掛けてきた経験から、アイディア創造の失敗パターンとして最も多いのが「準備なしの突発的なブレスト」です。事業目的やターゲットユーザーを明確にしないまま思いつきで意見を出し合い、結果的に有効なアイディア創出に至らないケースが多発しています。 今回は、Qualitegが提唱する「アイディア創造フレームワーク」について解説します。思いつきではなく、体系的なアプローチで新規事業開発を成功させるためのメソッドをご紹介します。 アイディア創造の第一歩：ターゲットユーザーの明確化
IT & AIテクノロジー
こんにちは Qualiteg 研究部です。 投機的デコーディングとは何か？ 投機的デコーディングは、大規模言語モデル（LLM）の推論速度を向上させる技術です。 たいていのモデルを1.4～2.0倍程度、高速化できることが報告されています。 このアプローチでは、小さなモデル（ドラフトモデル）を使用して初期の予測を行い、その結果を大きなモデル（ターゲットモデル）が検証することで、全体の推論プロセスを高速化します。 ざっくりいうと、 大きなモデルは計算負荷も高く計算速度も遅いので、まず、小さなモデルで高速に計算したあとで、その計算結果をうまくつかって大きなモデルでの計算負荷をさげ、スピードを向上させようというアイデアです。 基本的に大きなモデルと、小さなモデルはサイズ以外は基本的にまったく同じネットワーク構造をしていることが前提となります。 たとえば 70Bの Llama3 と 8B の Llama3 を組み合わせてつかうイメージです。 当然70B の Llama3 の推論計算のほうが 8B よりも重たくなりますので、小さい8BのLlama3 で先回りして推論計算することで
日々の開発Tips
今回は、OpenAI の API 利用サンプルコードをご紹介します。 OpenAI API は OpenAI純正のAPI のみならず、vLLMなど他の推論エンジンでも OpenAI 準拠のAPIサーバーが公開されており、LLMサービングAPIのデファクトとなりつつありますので、コーディングのお作法をおさえておきましょう。 OpenAI の GPT シリーズのAPIにアクセスするための、シンプルなサンプルコードは以下のようになります。生成結果をストリーミングで逐次受信してみましょう。 サンプルコード:クイックスタート import asyncio import os import traceback from openai import AsyncOpenAI async def main() -> None: try: # モデル名を指定 # model="gpt-4-turbo" # $10.00/MTok for input
![[自作日記20] SW編: コードをGPUで動かす](/content/images/size/w600/2024/04/gpu_machine_jisaku_20.png)
GPUマシン自作
早速、GPUで Pythonコードを動かしてみましょう 4.3 Jupyter Notebook で GPUを活用したPytorchコードを記述する STEP1 端末（ターミナル）を開いて、PyTorchプロジェクト用のディレクトリを作る 以下のコマンドを入力します mkdir pytorch_pj cd pytorch_pj STEP2 Jupyter Notebook の起動 ディレクトリに移動したら jupyter notebook でJupyter Notebook(ジュピターノートブック)を起動します Jupyter Notebook はPythonのコード作成と実行、実行結果表示、自由コメント（Markdown）編集の3つの機能をそなえたツールで、気軽に利用できるので、Jupyter Notebook上で試してみましょう Jupyter Notebook が起動しました 右上の 新規 をクリックして Python3 を選択します
![[AI数理]徹底的に交差エントロピー(7)](/content/images/size/w600/2024/04/ce07.png)
AI数理
おはようございます！(株) Qualiteg 研究部です。 今回は、交差エントロピーの計算をベクトルや行列で表現する方法について説明します！ 8章 交差エントロピーとベクトル演算 そもそも、なぜ、交差エントロピーをベクトルや行列で表現したいのでしょうか？ それは、実際にニューラルネットワークをコンピュータープログラムとして実装するときに、訓練データや予測値はベクトル(1次元配列)や行列(2次元配列)といったN階テンソル(N次元配列)の形式で取り扱われるからです。 なぜベクトルや行列かといえば、ニューラルネットワークの実用的な計算をするときにはデータを1件とりだしては、1件計算する のではなく、多くのデータをベクトル（1次元配列）や行列（2次元配列）やそれ以上の多次元配列に詰めたのちに、まとめてドカっと計算するからです。 （まとめてドカっと計算するのが得意な GPU があるからこそ、これだけ Deep Learning が進展した、ともいえます） そこで、今までで導出してきた交差エントロピーの計算をコンピュータで実装するときに備えて、 1次元配列 にしてみます。
![[AI新規事業創出] Qualitegが考える、アイディア創造で発散が必要な理由](https://images.unsplash.com/photo-1525776658211-37bdb8a0b32b?crop=entropy&cs=tinysrgb&fit=max&fm=jpg&ixid=M3wxMTc3M3wwfDF8c2VhcmNofDIzfHxicmFuY2hpbmclMjBvdXR8ZW58MHx8fHwxNzEzNzAxMTI2fDA&ixlib=rb-4.0.3&q=80&w=600)
AI-Business
新規事業のアイディア創出時には、部署内だけでなく、多様な職種や背景を持つ社内の関係者全員を巻き込むことが推奨されます。これにより、多角的な視点が確保され、実現可能性の高いアイディアが生まれやすくなります。また、プロジェクト初期からの協働はチーム間のコミュニケーションを強化し、各自が専門性を活かしたアイディア提供により、より具体的で効果的な解決策へと繋がるためです。