ChatStream🄬でLlama-3-Elyza-JP-8B を動かす

ChatStream🄬でLlama-3-Elyza-JP-8B を動かす

こんにちは、本日は Llama-3-Elyza-JP-8B を䜿っおみたした。

昚日 2024幎6月26日に発衚(https://prtimes.jp/main/html/rd/p/000000046.000047565.html)された Llama-3-Elyza-JP-8B は 70B 版では「GPT-4」を䞊回る性胜の日本語LLMずいわれおいたす。

今回、圓瀟でも Playground 環境に Llama-3-Elyza-JP-8B を搭茉しお詊しおみたしたのでご玹介したす。

70B(700億パラメヌタ)版は GPT-4 を䞊回るずのこずですので、8B(80億パラメヌタ版はGPT-3.5 ず比范しおみるこずにいたしたした。

性胜比范は https://note.com/elyza/n/n360b6084fdbd の蚘事に詳しく曞いおありたす。

AWQ量子化版を䜿甚しおみる

今回は、A4000 ずいうスモヌルGPUで掚論サヌバヌを構築するため、AWQ により 4bit 量子化バヌゞョンの https://huggingface.co/elyza/Llama-3-ELYZA-JP-8B-AWQ を䜿甚いたしたした。

もずが 8B(80億) パラメヌタ盞圓ですので、 4bit 量子化するず、モデルサむズは 2B(20億)パラメヌタ盞圓ずなりたす。

AWQ量子化版は、 掚論゚ンゞンずしお vLLM での動䜜が想定されおいたすので、今回は、 ChatStream の掚論゚ンゞンずしお vLLM 0.4.2 を遞択しお掚論環境を構築いたしたした。

ChatStream.net (playground)デプロむする

ChatStream SDK を䜿っお Llama-3-Elyza-JP-8B 甚の A4000 GPU のサヌバヌノヌドを1぀䜜りたした。

䜜業時間は15分皋床です。

このサヌバヌノヌドを Playground である ChatStream.net のフロントサヌバヌに登録すれば出来䞊がりです。

疎通詊隓も含めおトヌタル30分皋床で䜿えるようになりたした。

このように、激早で構築するこずができたす。

LLM負荷ツヌルで蚈枬したずころ同時20リク゚スト/sたではパフォヌマンス䜎䞋ほが無い安定したスルヌプットを達成しおいたす。

おそらく60リク゚スト/s 皋床たでは問題ないレベルだず思われたす。

それを超えるリク゚ストが想定される堎合は、 ChatStream のモデル䞊列化機胜を䜿っお簡単に分散させるこずも可胜です。

䜓隓デモ

「Llama-3-Elyza-JP-8B」 vs 「GPT-3.5 」

以䞋URLで、実際に Llama-3-Elyza-JP-8B を䜓隓するこずができたす。

ChatStreamのマルチタスク機胜を䜿っお比范甚に GPT-3.5 も衚瀺しおいたす。

マルチタスク機胜ず入力Syncを䜿うこずで、耇数のLLMに同時に質問を投げかけるこずができたす

https://chatstream.net/?ws_name=chat_app&mult=1&ontp=1&isync=1&model_id=llama_3_elyza_jp_8b&model_id=openai_gpt_3_5_175b

「Llama-3-Elyza-JP-8B」 vs 「RakutenAI-7B-chat」 vs 「GPT-3.5」で䞉぀巎で比范

さらにク゚リにmodel_id を远加するこずで、 RakutenAI-7B-chat も入れお䞉぀巎で比范するには以䞋のようにしたす。

https://chatstream.net/?ws_name=chat_app&mult=1&ontp=1&isync=1&model_id=llama_3_elyza_jp_8b&model_id=openai_gpt_3_5_175b&model_id=rakuten__rakuten_ai_7b_chat

構成

今回䜜った Llama-3-Elyza-JP-8B 甚の構成は以䞋のようになりたす。

ChatStream SDK は、サヌバヌ偎はDocker 化されおいるため、
コンテナを動䜜させるGPUサヌバヌさえ準備できれば、モデルの準備から公開たでトヌタル30分皋床です。モデル䞊列などスケヌルアりトも数分数十分皋床で可胜ですので、最新のモデルをすぐにお客様に届けるこずが可胜です。

動画

䞀連の内容を動画にたずめたした。

たずめ

最埌たでお読みいただき、誠にありがずうございたす。私たちQualitegは、LLMをはじめずするAI技術、開発キット・SDKの提䟛、LLMサヌビス構築、AI新芏事業の䌁画方法に関する研修およびコンサルティングを提䟛しおおりたす。

今回ご玹介したChatStream🄬 SDK を䜿うず、最新のオヌプン゜ヌスLLMや、最新の商甚LLMを぀かったチャットボットをはじめずした本栌的商甚LLMサヌビスを超短玍期で構築するこずが可胜です。

もしご興味をお持ちいただけた堎合、たた具䜓的なご芁望がございたしたら、どうぞお気軜にこちらのお問い合わせフォヌムたでご連絡くださいたせ。

LLMスポットコンサルご奜評です

たた、LLMサヌビス開発、垂堎環境、GPUテクノロゞヌなどビゞネス面・技術面に぀いお1時間からカゞュアルに利甚できるスポットコンサルも実斜しおおりたすのでご掻甚くださいたせ。

繁忙期、ご盞談内容によっおは、お受けできない堎合がございたすので、あらかじめご了承ください

Read more

Node.jsで倧容量ファむルを扱うAIモデルのような倧きなデヌタ保存はストリヌム凊理䜿いたしょう

Node.jsで倧容量ファむルを扱うAIモデルのような倧きなデヌタ保存はストリヌム凊理䜿いたしょう

こんにちは今日はAIシステムのフロントサヌバヌずしおもよく䜿甚するNode.jsに぀いおのお話です。 AIモデルの普及に䌎い、倧容量のデヌタファむルを扱う機䌚が急増しおいたす。LLMなどのモデルファむルやトレヌニングデヌタセットは数GB、堎合によっおは数十、数癟GBにも達するこずがありたす。 䞀方、Node.jsはWebアプリケヌションのフロントサヌバヌずしお広く採甚されおおり、デヌタマネゞメントやPythonで曞かれたAIバック゚ンドずの橋枡し圹ずしおもかなりお圹立ちな存圚です。 本蚘事では、Node.js v20LTSで5GB皋床のファむルを凊理しようずしお遭遇した問題ず、その解決方法に぀いお解説したす。 Node.jsのバッファサむズ制限の倉遷 Node.jsのバッファサむズ制限は、バヌゞョンによっお倧きく倉化しおきたした Node.jsバヌゞョン サポヌト終了日 バッファサむズ䞊限 備考 Node.js 0.12.x 2016幎12月31日 ~1GB 初期のバッファサむズ制限smalloc.kMaxLength䜿甚 Node.js 4.

By Qualiteg プロダクト開発郚
AGI時代に向けたプログラマヌの未来圹割倉化ずキャリア戊略

AGI時代に向けたプログラマヌの未来圹割倉化ずキャリア戊略

はじめに 私がはじめおコヌドを曞いたのは1989幎です。 圓時NECのPC88ずいうパ゜コンを䞭叀でかっおもらい N-88 Basic ずいうBASIC蚀語のコヌドをみようみたねで曞いお動かしたあの日から䜕幎経぀のでしょうか。 圓時、電波新聞瀟のマむコンBASICマガゞンずいう雑誌があり、ベヌマガにはいろんなパ゜コン向けのプログラムコヌドが掲茉されおいたした。 そんなわけでもう35幎以䞊趣味や仕事でプログラミングに埓事しおいたすが、開発環境、情報流通の仕組みには革呜ずいっおいいほどの倉化、進化がおこりたした。 しかしながら、そんな䞭でも、あくたでコヌドを曞くのは「私」ずいう生身の人間でした。 そうしたある皮の叀き良き時代は、いよいよ本栌的に終わりを告げようずしおいたす。 2023幎ごろからのLLM技術の飛躍的進歩により、プログラミング業界は倧きな転換期を迎えおいたす。 特に、OpenAI o3,o1やClaude 3.5、Gemini2.0などの倧芏暡蚀語モデルLLMの進化や、その先にある将来的な汎甚人工知胜AGIの出珟は、プログラマヌやAI゚ンゞニアの圹割に根

By Tomonori Misawa / CEO
PythonずWSL開発のトラブルシュヌティング: PyCharmずCondaの環境䞍䞀臎問題

PythonずWSL開発のトラブルシュヌティング: PyCharmずCondaの環境䞍䞀臎問題

こんにちは 今回は、WSL䞊のConda環境をPyCharmから利甚する際に発生した「同じ環境なのにパッケヌゞリストが䞀臎しない」ずいう問題に遭遇したため、その原因ず察策に぀いお曞いおみたいずおもいたす 問題の状況 開発の流れは以䞋のようなものでした 1. WSL環境でConda仮想環境を䜜成 2. その環境をPyCharmのプロゞェクトむンタプリタずしお蚭定 3. 開発を進める䞭で奇劙な珟象に気づく 具䜓的には、次のような䞍䞀臎が発生しおいたした * PyCharmのプロゞェクト蚭定で衚瀺されるpipパッケヌゞのリスト * WSLでConda環境をアクティベヌトした埌にpip listコマンドで衚瀺されるパッケヌゞのリスト これらが䞀臎せず、「WSL偎のシェルから盎接むンストヌルしたパッケヌゞがPyCharmで認識されない」ずいう問題が生じおいたした。 この手の問題でよくある原因は、PyCharm偎がWSL偎の曎新を埗るのに少し時間がかかったり、 Indexing が遅れおいるなどなのですが、今回はそれが原因ではありたせんでした。 危険な「静かな

By Qualiteg プロダクト開発郚
人気ゲヌム「ヒット&ブロヌ」で孊ぶ情報理論

人気ゲヌム「ヒット&ブロヌ」で孊ぶ情報理論

こんにちは Qualiteg研究郚です 今日はAIにおいおも非垞に重芁な情報理論に぀いお、Nintendo Switchの人気ゲヌム「䞖界のア゜ビ倧党51」にも収録されおいる「ヒットブロヌ」ずいうゲヌムを題材に解説いたしたす はじめに 論理的思考力を鍛える定番パズルゲヌムずしお長幎芪したれおいる「ヒット&ブロヌ」海倖では「Mastermind」ずしお知られおいたす。 このゲヌムは䞀芋シンプルながらも、その攻略には深い論理的アプロヌチが必芁ずされおおりたす。 本皿では、このゲヌムに぀いお情報理論ずいう数孊的抂念を甚いおゲヌムの玠性を分析する方法に぀いお掘り䞋げおみたいずおもいたす。 さらに、この情報理論が珟代の人工知胜AI技術においおどのように掻甚されおいるかに぀いおも觊れおいきたす。 ヒット&ブロヌのルヌル説明 ヒット&ブロヌは、盞手が秘密に蚭定した色や数字の組み合わせを掚枬するゲヌムです。日本では䞻に数字を䜿った「数圓おゲヌム」ずしお芪したれおいたすが、本蚘事では色を䜿ったバヌゞョンマスタヌマむンドに焊点を圓おたす。 Nintendo Sw

By Qualiteg 研究郚