LLM

Mistral AI社の最新LLM「Mistral NeMo 12B」を徹底解説

Qualiteg プロダクト開発部

2024年7月21日 — 3 min read

こんにちは。今回は2024年7月19日にリリースされたMistral AI社の最新LLM「Mistral NeMo 12B」をご紹介します。

本モデルの特徴や性能を解説し、実際にChatStreamを使用してチャットの使用感を確かめていきます。

Mistral NeMo 12Bとは

Mistral NeMo 12BはMistral AI社がNVIDIAと協力して開発した最新モデルです。Apache2ライセンスを採用しており、自由に使用、変更、配布が可能な非常に自由度の高いモデルとなっています。

解説動画

本記事の内容は以下の動画にもまとめてありますので、あわせてごらんくださいませ

主な特長

本モデルには3つの大きな特長があります：

大きなコンテクストサイズと高い推論性能
多言語性能
効率的なトークナイザー

1. 大きなコンテクストサイズと高い推論性能

Mistral NeMo 12Bは120億パラメータの比較的小型のモデルですが、同サイズカテゴリーの中でも高い性能を発揮しています。Google社のGemma2 9BやMeta社のLlama3 8Bと比較すると、特にコンテキストウィンドウが際立っています。Mistral NeMo 12Bのコンテキストサイズは128000で、これは他の2つのモデルの16倍のサイズです。

2. 多言語性能

Mistral NeMo 12Bは多言語対応に優れています。英語はもちろん、日本語、フランス語、ドイツ語、スペイン語、イタリア語、ポルトガル語、中国語、韓国語、アラビア語、ヒンディー語など、幅広い言語で高いパフォーマンスを発揮します。

マルチタスク言語理解ベンチマーク「MMLU」のスコア：68%（GPT-3.5 Turboの69.8%と同等）
日本語理解能力を評価したJMMLUのスコア：59%

3. 効率的なトークナイザー

新しい圧縮技術「Tekken」の採用により、自然言語テキストやソースコードの処理効率が大幅に向上しています。特に日本語では1.56倍の効率化を実現しています。

実際のチャット体験

ChatStream.netを使用して、Mistral Nemo 12Bとのチャットを試してみましょう。

以下URLで実際にチャットを試すことができます

https://chatstream.net/?model_id=mistral_nemo_instruct_2407&ws_name=chat_app

上記動画では以下のようなものを試してみました

Mistral AI社について日本語で質問
同じ質問を英語で回答してもらう
フランス語での回答を試す
映画「タイタニック」に関する質問
ジェームズ・キャメロン監督の作品について質問
「ターミネーター2」の登場人物について質問
同じ質問を英語で行い、回答の正確性を比較

結果として、英語での回答のほうが日本語よりも正確性が高いことが分かりました。

コード生成能力

また、温度変換やリスト処理のPythonコードを生成してもらったところ、正確なコードと丁寧な説明が得られました。

モデルアーキテクチャ詳細

推論環境

今回使用した推論環境は以下のとおりです。

GPU：A5000
OS：Ubuntu
推論エンジン：当社オリジナルのダイナミックバッチ・連続バッチ推論エンジン（通称"クラシックエンジン"）
推論サーバー：ChatStream Server
UI：ChatStream WebUI

ChatStream SDKを使用することで、約20分でMistral NeMo 12Bのチャット環境をインターネットに公開することができました。

まとめ

Mistral NeMo 12Bは、コンパクトなサイズながら高い性能を持つ多言語LLMです。特に大きなコンテキストサイズと効率的なトークナイザーが特徴的で、RAGなどの実践的な用途に強みを発揮しそうです。

生成AIのお悩み、LLMを活用した新規事業、LLMサービスの構築については、当社Qualitegまでお気軽にご相談ください。

個人情報検出の精度を、どう正しく語るか ― Recall、信頼区間、代表性から考える評価設計

こんにちは。Qualiteg研究部です。私たちは、個人情報（PII）や機密情報、要配慮個人情報を含むセンシティブな情報を検出・マスキングする技術(https://pii-fi.com)の開発に取り組んでいます。その中で日々向き合っているのが、「精度の数字を、どうすれば正直に、正しく語れるのか」という問題です。たとえば、検出器の Recall（再現率）が 0.95 だったとします。これは高い数字に見えます。しかし、その数字はどの種類の文書で測ったものなのか。正解データはどう作ったのか。サンプル数は十分なのか。別の業務文書にも同じ数字を当てはめてよいのか。精度の数字は、単独ではほとんど意味を持ちません。「何を、どの条件で、どう数えたか」とセットになって、はじめて実務で使える数字になります。本記事では、私たちが PII 検出の精度評価に取り組む中で得た、精度を誠実に語るための考え方を紹介します。アルゴリズムの中身ではなく、評価のしかたに焦点を当てます。 1. はじめに：「Recall 0.95

一文の依頼で、調査から資料作成まで。AIエージェント「Bestllam」のデモ動画を公開しました

こんにちは！本日は当社の統合AIプラットフォーム "Bestllam®" の AIエージェント機能のデモをご紹介いたします！「指示は出せても、AIが本当に仕事を仕上げてくれるのか」生成AIを業務に取り入れる企業が増えています。しかし現場からは、こんな本音も聞こえてきます。「使い方を覚えるより、自分でやったほうが早い」「指示を細かく出し直しているうちに、結局時間がかかる」「便利なのは分かるが、機密情報を入力していいのか不安」 AIを"個人の便利ツール"の域から、"部門の成果"へと引き上げる。これが当社の法人向け統合AIプラットフォーム Bestllam（ベストラム）が掲げるテーマです。今回、そのAIエージェント機能を実際の操作画面とともに紹介する動画を公開しました。たった一文の依頼が、7枚のレポートになるまで動画のデモはシンプルです。エージェントに、こう入力します。「先月の売上を年代別に分析し、資料にまとめてください」これだけです。すると、エージェントはまず自分でTODOリストを組み立て、何をどの順番で進めるかという段取りを示します

NCCL error: unhandled cuda error が出たら ─ WSL2 + マルチGPU + vLLM で詰まった話

こんにちは! Qualitegプロダクト開発部です！今日は、Windows + WSL2 のマシンに RTX 4090 を2枚挿して、大規模なオープンモデルを vLLM で動かそうとしたら、NCCL の初期化で見事に詰まった話を書きます。世の中に断片的にしか情報がなく、抜けるまでにかなり粘ったので、同じ構成で消耗している方の時間を少しでも節約できれば嬉しいです。経緯今回の目的は、次々と登場する最新のオープンモデル（オープンウェイトのLLM）を、手元で評価することでした。オープンモデルは数週間単位で新しいものが出てきます。ベンチマークの数字だけでなく、自分たちのユースケースに対して実際にどう振る舞うのか——出力の質、速度、量子化したときの劣化具合、エージェント的なタスクの得手不得手——を、手を動かして確かめています今回の環境は Windows + WSL2(Ubuntu) に RTX 4090 を2枚(各24GB)挿したマシンです。 nvidia-smi 上の CUDA Version は 12.8。動かすのは大規模オープンモデルを

Claude Codeで「The model's tool call could not be parsed」が頻発する問題の原因分析と対策

こんにちは！Qualitegプロダクト開発部です。 Claude Code（CLI）を使った開発中に、次のようなエラーが繰り返し表示されて作業が止まる現象に遭遇しました。 ● The model's tool call could not be parsed (retry also failed). リトライしても直らず、/clear で会話をリセットしても、しばらく作業を続けるとまた同じエラーが出るという状況です。本記事では、実際のセッションログ（jsonl）を解析して特定した原因と、その対策について共有します。結論から書くと、これは利用者側の設定ミスやコンテキスト枯渇が原因ではなく、 Opus 4.7（1Mコンテキスト）+ extended thinking の組み合わせで発生する、モデル応答側のストリーミングバグでした。現象エラーが発生した環境は以下のとおりです。 * Claude Code 2.1.148 * モデル: Opus 4.