LLM

革新的なコード生成LLM "Codestral Mamba 7B" を試してみた

Qualiteg プロダクト開発部

Qualiteg プロダクト開発部

— 2 min read
革新的なコード生成LLM "Codestral Mamba 7B" を試してみた

今日は、2024年7月16日にリリースされた新しいコード生成LLM、"mistralai/mamba-codestral-7B-v0.1"（通称：Codestral Mamba 7B）を試してみました。

このモデルは、新しいMambaアーキテクチャを採用しており、Apache2ライセンスで公開されています。

コード生成のSOTAモデルに迫る性能

Mamba アーキテクチャを採用した Codestral 7B ですが、Human Eval で 75% を達成しており、Transformerベースのコード生成 SOTA モデルと同等のパフォーマンスを実現しています。

さらに、シーケンス長に対しての処理劣化がないため、かなり期待のできるモデル＆アーキテクチャといえますね。

動画にまとめています

"mistralai/mamba-codestral-7B-v0.1" の試用レポートはこちらの動画にもまとめてありますので、よろしければ、こちらもご覧くださいませ

Codestral Mamba 7Bの特徴

  1. 無限の長さのシーケンスをモデル化する能力
  2. 長いシーケンスでも高速処理が可能
  3. Transformerベースの最高性能モデルと同等のパフォーマンス

実験内容

  1. Pythonプログラムの生成
    • 1から1000までの和の計算
    • 1から100までの偶数の表示
    • フィボナッチ数列の生成
    • 摂氏から華氏への変換
    • ランダムパスワードの生成
    • リスト内の2番目に大きい数の抽出
  2. コード補完
    • 文字列反転関数
    • 平均計算関数
    • リストのフラット化関数
    • BMI計算関数
  3. 長文指示によるコード生成
    • Mistral LLMを使用した対話型チャットの作成

結果

Codestral Mamba 7Bは、各タスクにおいて満足のいく出力をだしてくれました。プログラムの生成では正確なコードを出力し、コード補完では適切な実装を提案してくれました。長文指示に対しても、APIを使用した対話型チャットのコードを生成するなど、柔軟な対応を見せてくれていました。

まとめ

今回はCodestral Mamba 7Bのファーストルックレポートをお届けいたしました。

様々なPythonプログラムの生成や関数の補完を通じて、その性能の高さと可能性を実感することができました。

まだ、本格的なコード生成を試せていないため、これから実務レベルのコードが生成できるのか、という観点でさらに試してみたいと思います！

Read more

今からはじめるClaude Code

今からはじめるClaude Code

こんにちは！ 今日は、最近エンジニアの間で話題になっているAIコーディングエージェント「Claude Code」について取り上げます。 AIによるコーディング支援ツールはここ1〜2年で一気に増え、「結局どれを選べばいいのか分からない」と感じている方も多いのではないでしょうか。本記事では、そうした中でClaude Codeを実際に使ってみた所感と、Windows環境での導入・運用の考え方を整理していきます。 AIコーディングツール、どれを使う？ 2025年は、AIコーディング支援が一気に“実用品”になり、選択肢が増えすぎて迷いやすい年になりました。 GitHub Copilot、Cursor、Windsurf、Devin、Aider、Cline、OpenHandsなど、商用からオープンソースまで含めると、軽く20種類を超えます。 機能や思想が似ているものも多く、情報を追うだけで疲れてしまう、という方も少なくないと思います。 以前、当社ブログでは「AIコーディングエージェント20選」で全体像を整理しました。 AIコーディングエージェント20選！現状と未来への展望 【第1回】

By Qualiteg プロダクト開発部, Qualiteg コンサルティング
日本語対応 LLMランキング2025　～ベンチマーク分析レポート～(12月18日版)

日本語対応 LLMランキング2025　～ベンチマーク分析レポート～(12月18日版)

はじめに 本レポートは、Nejumi Leaderboard 4のベンチマークデータ（2025/12/18版）に基づいて、日本語対応LLMの性能を総合的に分析したものです。 前回は 2025/10/12 版の分析レポートを公開しましたが、たった2か月で劇的な変化がありました！ （定期的に最新LLMランキングを更新してまいります。当社のX(旧Twitter)をフォローいただくことで更新情報を受け取り可能です） Nejumi Leaderboard 4は、日本語タスクにおけるLLMの性能を多角的に評価する信頼性の高いベンチマークとして知られています。 本分析では、商用APIモデルとオープンモデルの両方を対象に、それぞれの特徴や傾向を詳しく見ていきます。 オープンソースモデルについて Weightがオープンなモデルは場合によっては「オープンソースモデル」、「OSSモデル」と呼ばれますが、モデルによっては「オープンソース」と呼ぶには不十分な場合があるため本稿では、「オープンソースモデル」ではなく「オープンモデル」と表現しています。 ベンチマーク分析について 本レポートは、

By Qualiteg コンサルティング, Qualiteg プロダクト開発部
AIコーディングエージェント20選！現状と未来への展望 【第1回】全体像と基礎

AIコーディングエージェント20選！現状と未来への展望 【第1回】全体像と基礎

こんにちは！ 今回は、20種類以上あるまさに百花繚乱なAIコーディングツールを一挙に紹介＆解説していきたいとおもいます！ AIをつかったコーディングはもはや常識となり、日々目まぐるしく新しいツールが登場しています。当社でも自社開発のAIコーディングツールをふくめ複数のツールを活用してソフトウェア開発をすすめていますが、次々とナイスなツールがでてきて興奮しつつも、正直キャッチアップが追いつかない…！という状況です。 「結局どれを使えばいいの？」「Claude CodeとCursorって何が違うの？」「オープンソースでも使えるやつあるの？」——そんな疑問を持っている方も多いのではないでしょうか。 そこで本シリーズでは、2025年12月時点でのAIコーディングツールを徹底的に整理してみました。商用サービスからオープンソースまで、20以上のツールを比較しながら、それぞれの特徴や使いどころ、そして現時点での限界についても現場視点をいれながら正直にお伝えしていければとおもいます ※「AIコーディングツール」は「コーディングエージェント」といったほうが今風なので記事内ではコーディングエー

By Qualiteg コンサルティング
【NPM】クラシックトークンが2025年12月9日に完全廃止されたことに伴うパッケージのインストールエラー(403)と対処法

【NPM】クラシックトークンが2025年12月9日に完全廃止されたことに伴うパッケージのインストールエラー(403)と対処法

こんにちは！ 本日は2025年12月9日に行われた npm に関する重要なアップデートについて解説いたします！ 2025年12月9日、npmがセキュリティ強化のためclassic tokenを完全に無効化しました。 この影響で、プライベートパッケージを使用しているプロジェクトで突然npm installが失敗するケースが発生しています。（パブリックパッケージの使用には影響はありません） 本記事では、実際に遭遇したエラーと解決方法についてみていきたいと思います。 発生した問題 症状 プライベートパッケージ（@your-org/package-name形式）を含むプロジェクトで npm install を実行すると、以下のようなエラーが発生 パターン1: 404エラー npm ERR! code E404 npm ERR! 404 Not Found - GET https://registry.npmjs.org/@your-org/package-name/... npm ERR! 404 '@your-org/package-name@x.x.

By Qualiteg プロダクト開発部