(株)Qualiteg - Qualiteg Blog (Page 3)

LLM セキュリティ

LLM-Audit ～LLMへの攻撃と防衛の最前線～

はじめに人工知能技術の急速な進化により、大規模言語モデル（LLM）は多くの企業や組織にとって不可欠なツールとなっています。自然言語処理、コード生成、データ分析など、LLMの応用範囲は日々拡大し、ビジネスプロセスの効率化や創造的タスクの支援など、幅広い分野で革新をもたらしています。しかし、この革新的な技術の普及に伴い、新たなセキュリティリスクも浮上しており、企業はこれらのリスクに対する適切な対策を講じる必要に迫られています。本記事では、当社が開発したLLMセキュリティソリューション「LLM-Audit」をご紹介します。LLM-Auditは、LLMの入力と出力を徹底的に監査し、セキュリティリスクを最小限に抑える包括的なセキュリティ＆セーフティ実現ソリューションです。従来のセキュリティ対策では対応が難しいLLM特有の脆弱性や、日本語環境特有の課題に対しても高度な保護を提供します。動画本記事の内容はこちらの動画でもご覧いただけます。 LLMセキュリティの重要性 LLMのセキュリティ管理が不十分な場合、企業は深刻な結果に直面する可能性があります。最も懸

LLM セキュリティ

【LLMセキュリティ】ハルシネーションの検出方法

こんにちは、Qualiteg研究部です。本日は、RAGにおけるハルシネーション検出に関する、こちらの論文について解説をしつつ、ハルシネーション検出をおこなうLLMについて考察をしてみたいと思います。 "Lynx: An Open Source Hallucination Evaluation Model" https://arxiv.org/pdf/2407.08488 概要 LYNXという、RAG(Retrieval Augmented Generation) システムにおいて参照なしで高品質なハルシネーション検出が可能なオープンソースのLLMの構築方法、仕組みに関する論文です。 RAGシーンにおいて、LLMが生成する回答が、質問やコンテキストに対して「忠実」であるかどうかを判定することで、ハルシネーションを検出することができます。研究の成果である、ハルシネーション判定のために llama3ファインチューニングがほどこされたモデルは以下に公開されています。 https://huggingface.co/PatronusAI/Llama-3-Patronus-Lynx

AI-Business

[AI新規事業創出] Qualitegセレクション：アイディア創造編④オズボーンのチェックリストの活用術

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。新規事業のアイディア創出を加速させる - オズボーンのチェックリスト活用術とは新規事業の立ち上げは、企業の成長と競争力維持の要となります。しかし、革新的なアイディアを生み出すのは容易ではありません。そこで注目したいのが「オズボーンのチェックリスト」です。この強力なツールを使いこなすことで、新規事業のアイディア創出を劇的に加速させることができます。本記事では、オズボーンのチェックリストの基本から実践的な活用法、さらには新規事業創出への応用まで、詳しく解説していきます。オズボーンのチェックリストとはオズボーンのチェックリストは、広告業界の先駆者アレックス・F・オズボーンが1953年に考案した創造的思考法です。既存の概念や製品を様々な角度から見直し

Blog

オープンLLMの進化：「領域特化型モデル」の台頭と今後の展望

こんにちは！今日は領域特化のLLMについて解説いたします。近年、大規模言語モデル（LLM）の発展は目覚ましいものがあります。 GPT-4oやClaude 3.5などの汎用AIが注目を集める一方で、特定の分野や用途に特化したLLMの需要が急速に高まっています。この傾向は、オープンソースのLLMにも波及し始めており、今後ますます加速すると予想されます。領域特化型LLMの利点特定の分野に特化したLLMは、その分野特有の専門知識や用語、文脈を深く理解し、より適切な応答を生成できる可能性があります。例えば、医療、法律、金融、工学、プログラミングなど、専門性の高い分野では、一般的なLLMよりも高い精度と信頼性を提供できる可能性があります。ファインチューニングと継続事前学習オープンLLMを特定のドメインに適応させる主な方法として、ファインチューニングと継続事前学習が挙げられます。ファインチューニング既存のLLMに対して、特定のタスクや分野に関連したデータセットを用いて追加学習を行う手法です。比較的少量のデータでモデルの挙動を調整できる利点がありますが、新

LLM

Meta社が発表した最新の大規模言語モデル、Llama 3.1シリーズの紹介

2024年7月23日、Meta社が最新の大規模言語モデル、Llama 3.1シリーズを発表しました。この記事では、Llama 3.1シリーズの特徴と性能、そして実際の使用例を紹介します。以下、動画にもまとめてありますので、あわせてごらんいただければと思います。 Llama 3.1シリーズの主な特徴 Llama 3.1シリーズは、8B、70B、405Bの3つのモデルサイズで提供されています。主な特徴は以下の通りです： * 一般的な知識、操縦性、数学、道具の使用、多言語翻訳におけるトップAIモデルに匹敵する初のオープンLLM * コンテクストは128Kトークン * 8言語に対応した多言語モデル（ただし日本語は含まれず） * 15兆以上のトークンでトレーニングモデルサイズ別の特徴 * 8Bモデル: モバイルデバイスや小規模なシステムでの使用に適しており、リソースが限られた環境でも高性能を発揮 * 70Bモデル: 多くのタスクで405Bモデルに近い性能を示しながら、より少ないコンピューティングリソースで運用できる優れたバランスを提供 * 405Bモデル: 最高

AI-Business

[AI新規事業創出] Qualitegセレクション：アイディア創造編③ブレインライティングの活用術

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。新規事業を生み出す魔法のツール - ブレインライティングの活用術新規事業の立ち上げは、企業の成長と競争力維持において重要な役割を果たします。しかし、革新的なアイディアを生み出すことは容易ではありません。そこで注目したいのが「ブレインライティング」という手法です。本記事では、ブレインライティングの基本概念から実践方法、そして新規事業創出への応用まで、詳しく解説していきます。ブレインライティングとはブレインライティングは、ブレインストーミングの派生技法の一つで、参加者が自分のアイディアを紙に書き出し、それを他の参加者と共有しながら新しいアイディアを生み出していく手法です。口頭でのアイディア出しに比べ、以下のような利点があります。 * 全員が同時に

LLM

Mistral AI社の最新LLM「Mistral NeMo 12B」を徹底解説

こんにちは。今回は2024年7月19日にリリースされたMistral AI社の最新LLM「Mistral NeMo 12B」をご紹介します。本モデルの特徴や性能を解説し、実際にChatStreamを使用してチャットの使用感を確かめていきます。 Mistral NeMo 12Bとは Mistral NeMo 12BはMistral AI社がNVIDIAと協力して開発した最新モデルです。Apache2ライセンスを採用しており、自由に使用、変更、配布が可能な非常に自由度の高いモデルとなっています。解説動画本記事の内容は以下の動画にもまとめてありますので、あわせてごらんくださいませ主な特長本モデルには3つの大きな特長があります： 1. 大きなコンテクストサイズと高い推論性能 2. 多言語性能 3. 効率的なトークナイザー 1. 大きなコンテクストサイズと高い推論性能 Mistral NeMo 12Bは120億パラメータの比較的小型のモデルですが、同サイズカテゴリーの中でも高い性能を発揮しています。Google社のGemma2 9BやMeta社の

LLM

革新的なコード生成LLM "Codestral Mamba 7B" を試してみた

今日は、2024年7月16日にリリースされた新しいコード生成LLM、"mistralai/mamba-codestral-7B-v0.1"（通称：Codestral Mamba 7B）を試してみました。このモデルは、新しいMambaアーキテクチャを採用しており、Apache2ライセンスで公開されています。コード生成のSOTAモデルに迫る性能 Mamba アーキテクチャを採用した Codestral 7B ですが、Human Eval で 75% を達成しており、Transformerベースのコード生成 SOTA モデルと同等のパフォーマンスを実現しています。さらに、シーケンス長に対しての処理劣化がないため、かなり期待のできるモデル＆アーキテクチャといえますね。動画にまとめています "mistralai/mamba-codestral-7B-v0.1" の試用レポートはこちらの動画にもまとめてありますので、よろしければ、こちらもご覧くださいませ Codestral Mamba 7Bの特徴 1. 無限の長さのシーケンスをモデル化する能力 2. 長いシー

AI-Business

[AI新規事業創出] Qualitegセレクション：アイディア創造編②SCAMPERの活用術

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。新規事業の立ち上げを考えている起業家や企業の皆さん、アイディア出しに行き詰まっていませんか？今回はSCAMPERという強力な発想法を紹介します。 SCAMPERを活用すれば、既存の製品やサービスを起点に、革新的なビジネスアイディアを生み出すことができます。日本ではあまりなじみのない手法ですが、シリコンバレーではよく使われる手法なのでぜひマスターしてみてくださいね。 SCAMPERとは何か？ SCAMPERは以下の7つの思考プロセスの頭文字を取った造語です: 1. Substitute (代替) 2. Combine (結合) 3. Adapt (適応) 4. Modify (修正) 5. Put to another use (別の用途)

News

東京ビジネスフロンティア産業交流展2024　共同出展に採択されました！

株式会社Qualiteg（以下、当社）は、首都圏最大級の中小企業展示会「産業交流展2024」の東京ビジネスフロンティアパビリオンへの出展企業として採択されましたことをお知らせいたします。産業交流展2024について産業交流展は、首都圏（東京都・埼玉県・千葉県・神奈川県）に事業所を有する中小企業の優れた技術や製品を一堂に展示する国内有数の展示会です。今年は通常の展示分野に加え、特別テーマとして「スタートアップ（創業10年以内の企業）」や「新製品・新サービス（3年以内に発表）」を展開する約700社が集結する予定です。開催概要 * 会期： * リアル展：2024年11月20日(水)～22日(金) * 20日・21日：10:00～17:00 * 22日：10:00～16:00 * オンライン展：2024年11月6日(水)～29日(金) * 会場：東京ビッグサイト西展示棟 * 入場料：

Blog

AIキャラクター考・技術とSFから考える未来像

はじめに近年、大規模言語モデル（LLM）の急速な発展により、AIの能力は飛躍的に向上しました。これらのLLMを活用したAIキャラクターの開発が世界中で始まっており、従来のAIとは一線を画す、より自然で知的な対話が可能なキャラクターの創造が現実のものとなりつつあります。当社、(株)Qualiteg でも、この分野における基礎的な研究開発を開始しました。我々は、最新のLLM技術を応用し、より人間らしい対話や感情表現が可能なAIキャラクターの開発に取り組んでいます。この研究は、ユーザーとAIの新しい関係性を模索し、AIキャラクターがもたらす可能性と課題を探ることを目的としています。しかし、この技術の発展には慎重な姿勢も必要です。AIキャラクターの高度化に伴い、プライバシーの問題、依存症のリスク、そして人間関係への影響など、様々な倫理的・社会的課題の発生が予想されます。AIキャラクターの登場は、人間とテクノロジーの関係性に新たな展開をもたらしますが、この革新的な技術には光と影があり、多くの人々が複雑な感情を抱くことになると予測します。本記事では、AIキャラクターに対してまず

FP8やFP4のネイティブサポートと vLLM をつかった "fp8" 量子化

こんにちは、(株)Qualiteg プロダクト開発部です最新モデルがリリースされたとき、推論速度を速くするために、いろいろな手法で量子化したり、複数の推論エンジンを使い分けたりしながら、正解をさがしにいくことが多いのですが、今回はそんな中で以下のような事象が発生いたしました。当社もありとあらゆるGPUを取り揃えているわけではないので、あー、そういうことかぁ、と思ったので、本ブログにいたしました。発生したエラー vLLM 0.5.1 であるLLMをロードしようとしたときに発生したときに、以下のようなエラーが発生しました ValueError: The quantization method fp8 is not supported for the current GPU. Minimum capability: 89. Current capability: 86 原因は FP8 に対応していないGPU世代 GPUは NVIDIA RTX-A6000 で、以下のように OpenAI 互換サーバーで

ChatStream

CyberAgentLM3-22B-Chat(cyberagent/calm3-22b-chat) 徹底解説

こんにちは、(株)Qualiteg プロダクト開発部です。本日は昨日プレスリリースされたサイバーエージェント社の最新LLM CyberAgentLM3-22B-Chat(cyberagent/calm3-22b-chat) について、ファーストルックレポートを行います。デモ実際に、以下サイトで calm3-22b-chat とチャットお試し可能です https://chatstream.net/?ws_name=chat_app&mult=0&ontp=1&isync=1&model_id=calm3_22b_chat オープン・フルスクラッチモデルでリーダーボード最高評価本モデルは、このモデルは、既存モデルをベースに用いずスクラッチで開発を行なった225億パラメータのモデルで Nejumi LLM リーダーボード3の総合評価で 700億パラメータのMeta-Llama-3-70B-Instructと同等性能となっているようです。継続事前学習ではなく、フルスクラッチの日本語ＬＬＭという点にも注目です。以下は日本語ＬＬＭリーダーボード１

【ChatStream】大容量のLLMの推論に必要なGPUサーバー構成

大容量のLLM（大規模言語モデル）の推論に必要なGPUサーバー構成とChatStreamとの連携について詳しく動画で解説しています。特に、Llama3-70Bモデルを例に、そのメモリ要件（140GBのGPUメモリ）と、この要件を満たすために必要なGPUサーバーおよびGPUクラスターの構成について、取り扱いやすい NVIDIA RTX A6000 GPUを使用した例について説明します。また、モデル並列化技術（テンソル並列化、パイプライン並列化、データ並列化）とその推論エンジンの選択についても触れ、実際に複数のGPUサーバーを使ったクラスター構成がどのように推論処理を効率的に行うかを示します。最後に、ChatStreamのLLMノードとは何か、そしてそれをどのようにスケーリングして大量の同時リクエストに対応するかについても解説します。この動画は、高性能を必要とするLLMのデプロイメントと運用に興味がある方に特に有益です。

日々の開発Tips

RuntimeError: implement_array_function method already has a docstring というエラーが発生したとき

以下のようなエラーが発生したとき、 RuntimeError: implement_array_function method already has a docstring このエラーメッセージは、numpyパッケージ内で発生している問題のようです。特に、implement_array_functionメソッドに既にドキュメンテーションが存在しているというエラーで、これは通常、互換性のないバージョンのnumpyを使用している場合に発生するようです。次の対策でエラーは発生しなくなりました pip install numpy==1.19.5

ChatStream

ChatStream🄬でLlama-3-Elyza-JP-8B を動かす

こんにちは、本日は Llama-3-Elyza-JP-8B を使ってみました。昨日 2024年6月26日に発表(https://prtimes.jp/main/html/rd/p/000000046.000047565.html)された Llama-3-Elyza-JP-8B は 70B 版では「GPT-4」を上回る性能の日本語LLMといわれています。今回、当社でも Playground 環境に Llama-3-Elyza-JP-8B を搭載して試してみましたのでご紹介します。 70B(700億パラメータ)版は GPT-4 を上回るとのことですので、8B(80億パラメータ）版はGPT-3.5 と比較してみることにいたしました。（性能比較は https://note.com/elyza/n/n360b6084fdbd の記事に詳しく書いてあります。） AWQ量子化版を使用してみる今回は、A4000

Latest

LLM-Audit ～LLMへの攻撃と防衛の最前線 ～

【LLMセキュリティ】ハルシネーションの検出方法

[AI新規事業創出] Qualitegセレクション：アイディア創造編④オズボーンのチェックリストの活用術

オープンLLMの進化：「領域特化型モデル」の台頭と今後の展望

Meta社が発表した最新の大規模言語モデル、Llama 3.1シリーズの紹介

[AI新規事業創出] Qualitegセレクション：アイディア創造編③ブレインライティングの活用術

Mistral AI社の最新LLM「Mistral NeMo 12B」を徹底解説

革新的なコード生成LLM "Codestral Mamba 7B" を試してみた

[AI新規事業創出] Qualitegセレクション：アイディア創造編②SCAMPERの活用術

東京ビジネスフロンティア産業交流展2024 共同出展に採択されました！

AIキャラクター考・技術とSFから考える未来像

FP8やFP4のネイティブサポートと vLLM をつかった "fp8" 量子化

CyberAgentLM3-22B-Chat(cyberagent/calm3-22b-chat) 徹底解説

【ChatStream】大容量のLLMの推論に必要なGPUサーバー構成

RuntimeError: implement_array_function method already has a docstring というエラーが発生したとき

ChatStream🄬でLlama-3-Elyza-JP-8B を動かす

LLM-Audit ～LLMへの攻撃と防衛の最前線～

東京ビジネスフロンティア産業交流展2024　共同出展に採択されました！