Latest

[AI新規事業創出] Qualitegセレクション：アイディア創造編③ブレインライティングの活用術

AI-Business

[AI新規事業創出] Qualitegセレクション：アイディア創造編③ブレインライティングの活用術

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。 新規事業を生み出す魔法のツール - ブレインライティングの活用術 新規事業の立ち上げは、企業の成長と競争力維持において重要な役割を果たします。しかし、革新的なアイディアを生み出すことは容易ではありません。そこで注目したいのが「ブレインライティング」という手法です。本記事では、ブレインライティングの基本概念から実践方法、そして新規事業創出への応用まで、詳しく解説していきます。 ブレインライティングとは ブレインライティングは、ブレインストーミングの派生技法の一つで、参加者が自分のアイディアを紙に書き出し、それを他の参加者と共有しながら新しいアイディアを生み出していく手法です。口頭でのアイディア出しに比べ、以下のような利点があります。 * 全員が同時に

By Join us, Michele on Qualiteg's adventure to innovation
Mistral AI社の最新LLM「Mistral NeMo 12B」を徹底解説

LLM

Mistral AI社の最新LLM「Mistral NeMo 12B」を徹底解説

こんにちは。今回は2024年7月19日にリリースされたMistral AI社の最新LLM「Mistral NeMo 12B」をご紹介します。 本モデルの特徴や性能を解説し、実際にChatStreamを使用してチャットの使用感を確かめていきます。 Mistral NeMo 12Bとは Mistral NeMo 12BはMistral AI社がNVIDIAと協力して開発した最新モデルです。Apache2ライセンスを採用しており、自由に使用、変更、配布が可能な非常に自由度の高いモデルとなっています。 解説動画 本記事の内容は以下の動画にもまとめてありますので、あわせてごらんくださいませ 主な特長 本モデルには3つの大きな特長があります： 1. 大きなコンテクストサイズと高い推論性能 2. 多言語性能 3. 効率的なトークナイザー 1. 大きなコンテクストサイズと高い推論性能 Mistral NeMo 12Bは120億パラメータの比較的小型のモデルですが、同サイズカテゴリーの中でも高い性能を発揮しています。Google社のGemma2 9BやMeta社の

By Qualiteg プロダクト開発部
革新的なコード生成LLM "Codestral Mamba 7B" を試してみた

LLM

革新的なコード生成LLM "Codestral Mamba 7B" を試してみた

今日は、2024年7月16日にリリースされた新しいコード生成LLM、"mistralai/mamba-codestral-7B-v0.1"（通称：Codestral Mamba 7B）を試してみました。 このモデルは、新しいMambaアーキテクチャを採用しており、Apache2ライセンスで公開されています。 コード生成のSOTAモデルに迫る性能 Mamba アーキテクチャを採用した Codestral 7B ですが、Human Eval で 75% を達成しており、Transformerベースのコード生成 SOTA モデルと同等のパフォーマンスを実現しています。 さらに、シーケンス長に対しての処理劣化がないため、かなり期待のできるモデル＆アーキテクチャといえますね。 動画にまとめています "mistralai/mamba-codestral-7B-v0.1" の試用レポートはこちらの動画にもまとめてありますので、よろしければ、こちらもご覧くださいませ Codestral Mamba 7Bの特徴 1. 無限の長さのシーケンスをモデル化する能力 2. 長いシー

By Qualiteg プロダクト開発部
[AI新規事業創出] Qualitegセレクション：アイディア創造編②SCAMPERの活用術

AI-Business

[AI新規事業創出] Qualitegセレクション：アイディア創造編②SCAMPERの活用術

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。 新規事業の立ち上げを考えている起業家や企業の皆さん、アイディア出しに行き詰まっていませんか？今回はSCAMPERという強力な発想法を紹介します。 SCAMPERを活用すれば、既存の製品やサービスを起点に、革新的なビジネスアイディアを生み出すことができます。日本ではあまりなじみのない手法ですが、シリコンバレーではよく使われる手法なのでぜひマスターしてみてくださいね。 SCAMPERとは何か？ SCAMPERは以下の7つの思考プロセスの頭文字を取った造語です: 1. Substitute (代替) 2. Combine (結合) 3. Adapt (適応) 4. Modify (修正) 5. Put to another use (別の用途)

By Join us, Michele on Qualiteg's adventure to innovation
東京ビジネスフロンティア産業交流展2024　共同出展に採択されました！

News

東京ビジネスフロンティア産業交流展2024　共同出展に採択されました！

株式会社Qualiteg（以下、当社）は、首都圏最大級の中小企業展示会「産業交流展2024」の東京ビジネスフロンティアパビリオンへの出展企業として採択されましたことをお知らせいたします。 産業交流展2024について 産業交流展は、首都圏（東京都・埼玉県・千葉県・神奈川県）に事業所を有する中小企業の優れた技術や製品を一堂に展示する国内有数の展示会です。今年は通常の展示分野に加え、特別テーマとして「スタートアップ（創業10年以内の企業）」や「新製品・新サービス（3年以内に発表）」を展開する約700社が集結する予定です。 開催概要 * 会期： * リアル展：2024年11月20日(水)～22日(金) * 20日・21日：10:00～17:00 * 22日：10:00～16:00 * オンライン展：2024年11月6日(水)～29日(金) * 会場：東京ビッグサイト西展示棟 * 入場料：

By Qualiteg ニュース
AIキャラクター考・技術とSFから考える未来像

Blog

AIキャラクター考・技術とSFから考える未来像

はじめに 近年、大規模言語モデル（LLM）の急速な発展により、AIの能力は飛躍的に向上しました。これらのLLMを活用したAIキャラクターの開発が世界中で始まっており、従来のAIとは一線を画す、より自然で知的な対話が可能なキャラクターの創造が現実のものとなりつつあります。 当社、(株)Qualiteg でも、この分野における基礎的な研究開発を開始しました。 我々は、最新のLLM技術を応用し、より人間らしい対話や感情表現が可能なAIキャラクターの開発に取り組んでいます。この研究は、ユーザーとAIの新しい関係性を模索し、AIキャラクターがもたらす可能性と課題を探ることを目的としています。 しかし、この技術の発展には慎重な姿勢も必要です。AIキャラクターの高度化に伴い、プライバシーの問題、依存症のリスク、そして人間関係への影響など、様々な倫理的・社会的課題の発生が予想されます。AIキャラクターの登場は、人間とテクノロジーの関係性に新たな展開をもたらしますが、この革新的な技術には光と影があり、多くの人々が複雑な感情を抱くことになると予測します。 本記事では、AIキャラクターに対してまず

By Tomonori Misawa / CEO
FP8やFP4のネイティブサポートと vLLM をつかった "fp8" 量子化

IT & AIテクノロジー

FP8やFP4のネイティブサポートと vLLM をつかった "fp8" 量子化

こんにちは、(株)Qualiteg プロダクト開発部です 最新モデルがリリースされたとき、推論速度を速くするために、いろいろな手法で量子化したり、複数の推論エンジンを使い分けたりしながら、正解をさがしにいくことが多いのですが、今回はそんな中で以下のような事象が発生いたしました。 当社もありとあらゆるGPUを取り揃えているわけではないので、あー、そういうことかぁ、と思ったので、本ブログにいたしました。 発生したエラー vLLM 0.5.1 であるLLMをロードしようとしたときに発生したときに、以下のようなエラーが発生しました ValueError: The quantization method fp8 is not supported for the current GPU. Minimum capability: 89. Current capability: 86 原因は FP8 に対応していないGPU世代 GPUは NVIDIA RTX-A6000 で、以下のように OpenAI 互換サーバーで

By Qualiteg プロダクト開発部
CyberAgentLM3-22B-Chat(cyberagent/calm3-22b-chat) 徹底解説

ChatStream

CyberAgentLM3-22B-Chat(cyberagent/calm3-22b-chat) 徹底解説

こんにちは、(株)Qualiteg プロダクト開発部です。 本日は昨日プレスリリースされた サイバーエージェント社の最新LLM CyberAgentLM3-22B-Chat(cyberagent/calm3-22b-chat) について、ファーストルックレポートを行います。 デモ 実際に、以下サイトで calm3-22b-chat とチャットお試し可能です https://chatstream.net/?ws_name=chat_app&mult=0&ontp=1&isync=1&model_id=calm3_22b_chat オープン・フルスクラッチモデルでリーダーボード最高評価 本モデルは、このモデルは、既存モデルをベースに用いずスクラッチで開発を行なった225億パラメータのモデルで Nejumi LLM リーダーボード3の総合評価で 700億パラメータのMeta-Llama-3-70B-Instructと同等性能となっているようです。 継続事前学習ではなく、フルスクラッチの日本語ＬＬＭという点にも注目です。 以下は日本語ＬＬＭリーダーボード１

By Qualiteg プロダクト開発部
【ChatStream】大容量のLLMの推論に必要なGPUサーバー構成

【ChatStream】大容量のLLMの推論に必要なGPUサーバー構成

大容量のLLM（大規模言語モデル）の推論に必要なGPUサーバー構成とChatStreamとの連携について詳しく動画で解説しています。 特に、Llama3-70Bモデルを例に、そのメモリ要件（140GBのGPUメモリ）と、この要件を満たすために必要なGPUサーバーおよびGPUクラスターの構成について、取り扱いやすい NVIDIA RTX A6000 GPUを使用した例について説明します。 また、モデル並列化技術（テンソル並列化、パイプライン並列化、データ並列化）とその推論エンジンの選択についても触れ、実際に複数のGPUサーバーを使ったクラスター構成がどのように推論処理を効率的に行うかを示します。 最後に、ChatStreamのLLMノードとは何か、そしてそれをどのようにスケーリングして大量の同時リクエストに対応するかについても解説します。こ の動画は、高性能を必要とするLLMのデプロイメントと運用に興味がある方に特に有益です。

By Join us, Michele on Qualiteg's adventure to innovation
RuntimeError: implement_array_function method already has a docstring というエラーが発生したとき

日々の開発Tips

RuntimeError: implement_array_function method already has a docstring というエラーが発生したとき

以下のようなエラーが発生したとき、 RuntimeError: implement_array_function method already has a docstring このエラーメッセージは、numpyパッケージ内で発生している問題のようです。 特に、implement_array_functionメソッドに既にドキュメンテーションが存在しているというエラーで、これは通常、互換性のないバージョンのnumpyを使用している場合に発生するようです。 次の対策でエラーは発生しなくなりました pip install numpy==1.19.5

By Qualiteg プロダクト開発部
ChatStream🄬でLlama-3-Elyza-JP-8B を動かす

ChatStream

ChatStream🄬でLlama-3-Elyza-JP-8B を動かす

こんにちは、本日は Llama-3-Elyza-JP-8B を使ってみました。 昨日 2024年6月26日に発表(https://prtimes.jp/main/html/rd/p/000000046.000047565.html)された Llama-3-Elyza-JP-8B は 70B 版では「GPT-4」を上回る性能の日本語LLMといわれています。 今回、当社でも Playground 環境に Llama-3-Elyza-JP-8B を搭載して試してみましたのでご紹介します。 70B(700億パラメータ)版は GPT-4 を上回るとのことですので、8B(80億パラメータ）版はGPT-3.5 と比較してみることにいたしました。 （性能比較は https://note.com/elyza/n/n360b6084fdbd の記事に詳しく書いてあります。） AWQ量子化版を使用してみる 今回は、A4000

By Qualiteg プロダクト開発部
AttributeError: module 'torch._dynamo' has no attribute 'mark_static_address' が発生したときの対処法

日々の開発Tips

AttributeError: module 'torch._dynamo' has no attribute 'mark_static_address' が発生したときの対処法

以下のようなエラーが出た場合の対処法 File "/venv/Lib/site-packages/torch/utils/_contextlib.py", line 115, in decorate_context return func(*args, **kwargs) ^^^^^^^^^^^^^^^^^^^^^ File "/venv/Lib/site-packages/transformers/generation/utils.py", line 1744, in generate model_kwargs["past_key_values"] = self._get_cache( ^^^^^^^^^^^^^^^^ File "/venv/Lib/site-packages/transformers/

By Qualiteg プロダクト開発部
[AI新規事業創出]Qualitegセレクション：アイディア創造編①Qualiteg式オンラインブレストの活用術

AI-Business

[AI新規事業創出]Qualitegセレクション：アイディア創造編①Qualiteg式オンラインブレストの活用術

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。 今日は私のお気に入りのブレスト方法である「Qualiteg式オンラインブレスト」の活用術についてお話ししたいと思います。 場所を変えて気分を変えても良いアイディアは生まれない！？ よく、「金曜日は1日ブレストしよう！」という上司の掛け声とともに、いつもと違う雰囲気なら良いアイディアも出るかもしれないといってホテルの会議室などを予約されて1日缶詰でブレストしたが、期待する結果が出なかったとおっしゃるクライアントが非常に多いです。 ブレインストーミングは複数の参加者が自由にアイデアを出し合うことで、新しい発想や解決策を見つける手法です。 批判や評価を一時的に排除し、量を重視して多くのアイデアを集めることが目的です。1950年代に広告業界で生まれたこの手法は

By Join us, Michele on Qualiteg's adventure to innovation
NVIDIA GPU と Capability Level

日々の開発Tips

NVIDIA GPU と Capability Level

NVIDIA GPU の Capability Level の一覧です。 推論エンジンがサポートする各種アクセラレーション機能は Capability Level により搭載されるハードウェアアクセラレータや専用機能が異なります。 データセンター/プロ向けGPU GeForce GPU Capability Level 世代名 - GeForce RTX 5090 120 Blackwell - GeForce RTX 5080 120 Blackwell - GeForce RTX 5070 120 Blackwell - GeForce RTX 5060 120 Blackwell NVIDIA B200 - 100 Blackwell NVIDIA B100 - 100

By Qualiteg プロダクト開発部
[AI新規事業創出]Qualitegが考える、アイディア創造フレームワークを利活用する理由

AI-Business

[AI新規事業創出]Qualitegが考える、アイディア創造フレームワークを利活用する理由

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。 アイディア創造を成功させるための体系的アプローチ 「新規事業のアイディアが浮かばない」「ブレインストーミングを行っても成果が出ない」というお悩みをよく耳にします。多くの企業コンサルティングを手掛けてきた経験から、アイディア創造の失敗パターンとして最も多いのが「準備なしの突発的なブレスト」です。事業目的やターゲットユーザーを明確にしないまま思いつきで意見を出し合い、結果的に有効なアイディア創出に至らないケースが多発しています。 今回は、Qualitegが提唱する「アイディア創造フレームワーク」について解説します。思いつきではなく、体系的なアプローチで新規事業開発を成功させるためのメソッドをご紹介します。 アイディア創造の第一歩：ターゲットユーザーの明確化

By Join us, Michele on Qualiteg's adventure to innovation
推論速度を向上させる Speculative Decoding(投機的デコーディング)とは

IT & AIテクノロジー

推論速度を向上させる Speculative Decoding(投機的デコーディング)とは

こんにちは Qualiteg 研究部です。 投機的デコーディングとは何か？ 投機的デコーディングは、大規模言語モデル（LLM）の推論速度を向上させる技術です。 たいていのモデルを1.4～2.0倍程度、高速化できることが報告されています。 このアプローチでは、小さなモデル（ドラフトモデル）を使用して初期の予測を行い、その結果を大きなモデル（ターゲットモデル）が検証することで、全体の推論プロセスを高速化します。 ざっくりいうと、 大きなモデルは計算負荷も高く計算速度も遅いので、まず、小さなモデルで高速に計算したあとで、その計算結果をうまくつかって大きなモデルでの計算負荷をさげ、スピードを向上させようというアイデアです。 基本的に大きなモデルと、小さなモデルはサイズ以外は基本的にまったく同じネットワーク構造をしていることが前提となります。 たとえば 70Bの Llama3 と 8B の Llama3 を組み合わせてつかうイメージです。 当然70B の Llama3 の推論計算のほうが 8B よりも重たくなりますので、小さい8BのLlama3 で先回りして推論計算することで

By Qualiteg 研究部
See all