LLMのデータファイルを無圧縮ZIPにする
LLMサービスをつくっていると、1回ダウンロードしたLLMを別のサーバーに移動するということをよくやります。
(同一構成のサーバーで同じLLMモデルつかいたいときは、たとえば、HuggingFaceから再度ダウンロードするより早いので)
このときフォルダのままだと移動しづらいとき ZIP に圧縮します。
無圧縮だと、GB単位でも結構高速に圧縮できます。
ZIP のインストール
sudo apt install zip -y
無圧縮ZIPの作成
対象の LLM ディレクトリを指定して、以下のコマンドを実行
たとえば、LLMディレクトリが /mnt/d/RakutenAI-7B-chat-awq
のとき、
cd /mnt/c/RakutenAI-7B-chat-awq
zip -r -0 /mnt/c/RakutenAI-7B-chat-awq.zip .
コマンド詳細
cd /mnt/c/RakutenAI-7B-chat-awq
: 圧縮するフォルダに移動します。zip
: zipコマンドの実行-r
: フォルダ内のファイルやサブフォルダを再帰的に含める-0
: 圧縮を行わない(無圧縮)/mnt/c/RakutenAI-7B-chat-awq.zip
: 出力するZIPファイルのパス.
: 現在のディレクトリの内容を圧縮対象とする
cd をやっているのは、ディレクトリ構造をzipの中に再現しないため、です
ZIPの展開方法
unzip /mnt/c/RakutenAI-7B-chat-awq.zip -d /mnt/c