LLMのデータファイルを無圧縮ZIPにする

LLMのデータファイルを無圧縮ZIPにする
Photo by David Bruno Silva / Unsplash

LLMサービスをつくっていると、1回ダウンロードしたLLMを別のサーバーに移動するということをよくやります。
(同一構成のサーバーで同じLLMモデルつかいたいときは、たとえば、HuggingFaceから再度ダウンロードするより早いので)

このときフォルダのままだと移動しづらいとき ZIP に圧縮します。

無圧縮だと、GB単位でも結構高速に圧縮できます。

ZIP のインストール

sudo apt install zip -y

無圧縮ZIPの作成

対象の LLM ディレクトリを指定して、以下のコマンドを実行

たとえば、LLMディレクトリが /mnt/d/RakutenAI-7B-chat-awq のとき、

cd /mnt/c/RakutenAI-7B-chat-awq
zip -r -0 /mnt/c/RakutenAI-7B-chat-awq.zip .

コマンド詳細

  • cd /mnt/c/RakutenAI-7B-chat-awq: 圧縮するフォルダに移動します。
  • zip: zipコマンドの実行
  • -r: フォルダ内のファイルやサブフォルダを再帰的に含める
  • -0: 圧縮を行わない(無圧縮)
  • /mnt/c/RakutenAI-7B-chat-awq.zip: 出力するZIPファイルのパス
  • .: 現在のディレクトリの内容を圧縮対象とする

cd をやっているのは、ディレクトリ構造をzipの中に再現しないため、です

ZIPの展開方法

unzip /mnt/c/RakutenAI-7B-chat-awq.zip -d /mnt/c

Read more

ChatStream🄬でLlama-3-Elyza-JP-8B を動かす

ChatStream🄬でLlama-3-Elyza-JP-8B を動かす

こんにちは、本日は Llama-3-Elyza-JP-8B を使ってみました。 昨日 2024年6月26日に発表(https://prtimes.jp/main/html/rd/p/000000046.000047565.html)された Llama-3-Elyza-JP-8B は 70B 版では「GPT-4」を上回る性能の日本語LLMといわれています。 今回、当社でも Playground 環境に Llama-3-Elyza-JP-8B を搭載して試してみましたのでご紹介します。 70B(700億パラメータ)版は GPT-4 を上回るとのことですので、8B(80億パラメータ)版はGPT-3.5 と比較してみることにいたしました。 (性能比較は https://note.com/elyza/n/n360b6084fdbd の記事に詳しく書いてあります。) AWQ量子化版を使用してみる 今回は、A4000

By Qualiteg プロダクト開発部
AttributeError: module 'torch._dynamo' has no attribute 'mark_static_address' が発生したときの対処法

AttributeError: module 'torch._dynamo' has no attribute 'mark_static_address' が発生したときの対処法

以下のようなエラーが出た場合の対処法 File "/venv/Lib/site-packages/torch/utils/_contextlib.py", line 115, in decorate_context return func(*args, **kwargs) ^^^^^^^^^^^^^^^^^^^^^ File "/venv/Lib/site-packages/transformers/generation/utils.py", line 1744, in generate model_kwargs["past_key_values"] = self._get_cache( ^^^^^^^^^^^^^^^^ File "/venv/Lib/site-packages/transformers/

By Qualiteg プロダクト開発部
[AI新規事業創出]Qualitegセレクション:アイディア創造編①Qualiteg式オンラインブレストの活用術

[AI新規事業創出]Qualitegセレクション:アイディア創造編①Qualiteg式オンラインブレストの活用術

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。 今日は私のお気に入りのブレスト方法である「Qualiteg式オンラインブレスト」の活用術についてお話ししたいと思います。 場所を変えて気分を変えても良いアイディアは生まれない!? よく、「金曜日は1日ブレストしよう!」という上司の掛け声とともに、いつもと違う雰囲気なら良いアイディアも出るかもしれないといってホテルの会議室などを予約されて1日缶詰でブレストしたが、期待する結果が出なかったとおっしゃるクライアントが非常に多いです。 ブレインストーミングは複数の参加者が自由にアイデアを出し合うことで、新しい発想や解決策を見つける手法です。 批判や評価を一時的に排除し、量を重視して多くのアイデアを集めることが目的です。1950年代に広告業界で生まれたこの手法は

By Join us, Michele on Qualiteg's adventure to innovation
[AI新規事業創出]Qualitegが考える、アイディア創造フレームワークを利活用する理由

[AI新規事業創出]Qualitegが考える、アイディア創造フレームワークを利活用する理由

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。 アイディア創造を行う際に皆さんどのようなステップで検討されていますか?多くの企業様のコンサルティングをさせていただいている中で、最も多いのが、「突然のブレスト」ですが、どのような事業を行いたいか=誰に何を売っていきたいのかを最初に考えずに思い付きのままに意見を出し合い、結果的に無駄な時間を過ごしてしまい良いアイディアが出なかったとおっしゃる方も多いです。 本日はアイディア創造は思い付きではなく、きちんとフレームワークを利活用すべしと考えるQualitegのメソッドをお伝えしたいと思います。 まず、初めに行うことは 「誰に商品やサービスを提供したいか」を考えることです。 ターゲットユーザーはどのようなことを考えているかを理解し、仮説課題やニーズの確からしさ

By Join us, Michele on Qualiteg's adventure to innovation