ChatStream
ChatStream🄬でLlama-3-Elyza-JP-8B を動かす
こんにちは、本日は Llama-3-Elyza-JP-8B を使ってみました。 昨日 2024年6月26日に発表(https://prtimes.jp/main/html/rd/p/000000046.000047565.html)された Llama-3-Elyza-JP-8B は 70B 版では「GPT-4」を上回る性能の日本語LLMといわれています。 今回、当社でも Playground 環境に Llama-3-Elyza-JP-8B を搭載して試してみましたのでご紹介します。 70B(700億パラメータ)版は GPT-4 を上回るとのことですので、8B(80億パラメータ）版はGPT-3.5 と比較してみることにいたしました。 （性能比較は https://note.com/elyza/n/n360b6084fdbd の記事に詳しく書いてあります。） AWQ量子化版を使用してみる 今回は、A4000