(株)Qualiteg - Blog - Qualiteg Blog

Blog

オープンLLMの進化：「領域特化型モデル」の台頭と今後の展望

こんにちは！今日は領域特化のLLMについて解説いたします。近年、大規模言語モデル（LLM）の発展は目覚ましいものがあります。 GPT-4oやClaude 3.5などの汎用AIが注目を集める一方で、特定の分野や用途に特化したLLMの需要が急速に高まっています。この傾向は、オープンソースのLLMにも波及し始めており、今後ますます加速すると予想されます。領域特化型LLMの利点特定の分野に特化したLLMは、その分野特有の専門知識や用語、文脈を深く理解し、より適切な応答を生成できる可能性があります。例えば、医療、法律、金融、工学、プログラミングなど、専門性の高い分野では、一般的なLLMよりも高い精度と信頼性を提供できる可能性があります。ファインチューニングと継続事前学習オープンLLMを特定のドメインに適応させる主な方法として、ファインチューニングと継続事前学習が挙げられます。ファインチューニング既存のLLMに対して、特定のタスクや分野に関連したデータセットを用いて追加学習を行う手法です。比較的少量のデータでモデルの挙動を調整できる利点がありますが、新

LLM

Meta社が発表した最新の大規模言語モデル、Llama 3.1シリーズの紹介

2024年7月23日、Meta社が最新の大規模言語モデル、Llama 3.1シリーズを発表しました。この記事では、Llama 3.1シリーズの特徴と性能、そして実際の使用例を紹介します。以下、動画にもまとめてありますので、あわせてごらんいただければと思います。 Llama 3.1シリーズの主な特徴 Llama 3.1シリーズは、8B、70B、405Bの3つのモデルサイズで提供されています。主な特徴は以下の通りです： * 一般的な知識、操縦性、数学、道具の使用、多言語翻訳におけるトップAIモデルに匹敵する初のオープンLLM * コンテクストは128Kトークン * 8言語に対応した多言語モデル（ただし日本語は含まれず） * 15兆以上のトークンでトレーニングモデルサイズ別の特徴 * 8Bモデル: モバイルデバイスや小規模なシステムでの使用に適しており、リソースが限られた環境でも高性能を発揮 * 70Bモデル: 多くのタスクで405Bモデルに近い性能を示しながら、より少ないコンピューティングリソースで運用できる優れたバランスを提供 * 405Bモデル: 最高

LLM

Mistral AI社の最新LLM「Mistral NeMo 12B」を徹底解説

こんにちは。今回は2024年7月19日にリリースされたMistral AI社の最新LLM「Mistral NeMo 12B」をご紹介します。本モデルの特徴や性能を解説し、実際にChatStreamを使用してチャットの使用感を確かめていきます。 Mistral NeMo 12Bとは Mistral NeMo 12BはMistral AI社がNVIDIAと協力して開発した最新モデルです。Apache2ライセンスを採用しており、自由に使用、変更、配布が可能な非常に自由度の高いモデルとなっています。解説動画本記事の内容は以下の動画にもまとめてありますので、あわせてごらんくださいませ主な特長本モデルには3つの大きな特長があります： 1. 大きなコンテクストサイズと高い推論性能 2. 多言語性能 3. 効率的なトークナイザー 1. 大きなコンテクストサイズと高い推論性能 Mistral NeMo 12Bは120億パラメータの比較的小型のモデルですが、同サイズカテゴリーの中でも高い性能を発揮しています。Google社のGemma2 9BやMeta社の

LLM

革新的なコード生成LLM "Codestral Mamba 7B" を試してみた

今日は、2024年7月16日にリリースされた新しいコード生成LLM、"mistralai/mamba-codestral-7B-v0.1"（通称：Codestral Mamba 7B）を試してみました。このモデルは、新しいMambaアーキテクチャを採用しており、Apache2ライセンスで公開されています。コード生成のSOTAモデルに迫る性能 Mamba アーキテクチャを採用した Codestral 7B ですが、Human Eval で 75% を達成しており、Transformerベースのコード生成 SOTA モデルと同等のパフォーマンスを実現しています。さらに、シーケンス長に対しての処理劣化がないため、かなり期待のできるモデル＆アーキテクチャといえますね。動画にまとめています "mistralai/mamba-codestral-7B-v0.1" の試用レポートはこちらの動画にもまとめてありますので、よろしければ、こちらもご覧くださいませ Codestral Mamba 7Bの特徴 1. 無限の長さのシーケンスをモデル化する能力 2. 長いシー

Blog

AIキャラクター考・技術とSFから考える未来像

はじめに近年、大規模言語モデル（LLM）の急速な発展により、AIの能力は飛躍的に向上しました。これらのLLMを活用したAIキャラクターの開発が世界中で始まっており、従来のAIとは一線を画す、より自然で知的な対話が可能なキャラクターの創造が現実のものとなりつつあります。当社、(株)Qualiteg でも、この分野における基礎的な研究開発を開始しました。我々は、最新のLLM技術を応用し、より人間らしい対話や感情表現が可能なAIキャラクターの開発に取り組んでいます。この研究は、ユーザーとAIの新しい関係性を模索し、AIキャラクターがもたらす可能性と課題を探ることを目的としています。しかし、この技術の発展には慎重な姿勢も必要です。AIキャラクターの高度化に伴い、プライバシーの問題、依存症のリスク、そして人間関係への影響など、様々な倫理的・社会的課題の発生が予想されます。AIキャラクターの登場は、人間とテクノロジーの関係性に新たな展開をもたらしますが、この革新的な技術には光と影があり、多くの人々が複雑な感情を抱くことになると予測します。本記事では、AIキャラクターに対してまず

Blog

GPUリッチと日本の現状

世界的なGPU不足が深刻化しており、特に高性能なグラフィックスプロセッシングユニット（GPU）の確保が困難な状況に直面しています。この不足は、AI研究開発をはじめとする多くのテクノロジー業界に大きな影響を及ぼしており、企業や研究機関の間で新たな競争が生まれています。 GPU不足の現状「GPUが非常に不足しているため、当社の製品を使用する人が少ないほど良いです」「GPUが不足しているため、当社の製品の使用量が減ってくれると嬉しいです」との声が業界内で聞かれるほど、GPUの調達は困難を極めています。イーロン・マスクは、GPUの入手困難さを「麻薬よりも取得が難しい」と形容しています。米国のビッグテックやメガベンチャーでは、GPUを万単位で確保しており、一例として1万台のGPUを確保するには約600億円の投資が必要とされています。これらの企業は、「GPUリッチ」と呼ばれるほどに、NVIDIAのA100やH100などの高性能GPUを大量に所有しています。 GPUリッチの影響このGPUリッチな環境は、米国内でのAI研究開発競争を加速させています。ベイエリアのトップAI研究者

Blog

人間のクリエイティビティとAI

先日、あるVCの方と当社のミッションについてお話したとき人々のクリエイティビティがいつか ChatGPT 等のAIに追い抜かれてしまうのかという点が話題になりました。私は AIやAGIがどれほど進化しても、人間のクリエイティビティには勝ることができないという確信を持っています。この信念は、クリエイティビティの本質とAIの能力の根本的な違いから来ています。まず、クリエイティビティは、既存の枠組みやパターンを超えた新しいアイデアや解決策を生み出す能力です。このプロセスは、直感（直観）、感情、そして複雑な人間関係の理解を必要とします。人間の創造力は、経験、文化的背景、個人的な価値観、そして無意識の深層から湧き出るインスピレーションに根差しています。このインスピレーションを「宇宙からアイディアが突然降ってくる」ととらえている人も多いです。このようなアンテナが存在するのかどうかはわかりませんが、私自身にもそのような経験は多くあり、あながち幻でもなさそうに思います。これをクリエイティビティと言って良いのかどうかはわかりませんが、少なくとも、これらの要素は、人間独自のものであり、

Blog

ChatGPTによるAI革命と今後の展望

今日は ChatGPT による革命と今後の展望について書いてみたいとおもいます。 ChatGPTはほとんどの業界に大きな影響を与えているのは周知のとおりです。このテキストベースのAIは、業務の自動化と効率化に貢献しており、その影響は広範囲に及ぶと予想されます。しかし、ChatGPTの成長と進化の途上には、いくつかの課題が存在しています。ここでは、ChatGPTが引き起こすAI革命、その業界への影響、そして将来への展望について掘り下げていきたいとおもいます。 ChatGPTによる業界の変革 ChatGPTは、既に世の中の9割の業界で劇的な変化をもたらしているといわれています。このAI技術は、顧客サービスからマーケティング、保険、HR、さらには開発まで、幅広い分野で業務の自動化と効率化を実現しています。（我々の開発でもこれまで人間がやっていた仕様書定義・整理や単体テスト設計などで絶大な効果をあげています。）例えば、顧客サービスでは、ChatGPTを用いたチャットボットが24時間体制で顧客の問い合わせに応じることが可能になり、人的リソースの負担を大幅に軽減しています。また