日々の開発Tips

LLMのデータファイルを無圧縮ZIPにする

Qualiteg プロダクト開発部

2024年2月21日 — 1 min read

Photo by David Bruno Silva / Unsplash

LLMサービスをつくっていると、１回ダウンロードしたLLMを別のサーバーに移動するということをよくやります。
（同一構成のサーバーで同じLLMモデルつかいたいときは、たとえば、HuggingFaceから再度ダウンロードするより早いので）

このときフォルダのままだと移動しづらいとき ZIP に圧縮します。

無圧縮だと、GB単位でも結構高速に圧縮できます。

ZIP のインストール

sudo apt install zip -y

無圧縮ZIPの作成

対象の LLM ディレクトリを指定して、以下のコマンドを実行

たとえば、LLMディレクトリが /mnt/d/RakutenAI-7B-chat-awq のとき、

cd /mnt/c/RakutenAI-7B-chat-awq
zip -r -0 /mnt/c/RakutenAI-7B-chat-awq.zip .

コマンド詳細

cd /mnt/c/RakutenAI-7B-chat-awq: 圧縮するフォルダに移動します。
zip: zipコマンドの実行
-r: フォルダ内のファイルやサブフォルダを再帰的に含める
-0: 圧縮を行わない（無圧縮）
/mnt/c/RakutenAI-7B-chat-awq.zip: 出力するZIPファイルのパス
.: 現在のディレクトリの内容を圧縮対象とする

cd をやっているのは、ディレクトリ構造をzipの中に再現しないため、です

ZIPの展開方法

unzip /mnt/c/RakutenAI-7B-chat-awq.zip -d /mnt/c

Read more

個人情報検出の精度を、どう正しく語るか ― Recall、信頼区間、代表性から考える評価設計

個人情報検出の精度を、どう正しく語るか ― Recall、信頼区間、代表性から考える評価設計

こんにちは。Qualiteg研究部です。私たちは、個人情報（PII）や機密情報、要配慮個人情報を含むセンシティブな情報を検出・マスキングする技術(https://pii-fi.com)の開発に取り組んでいます。その中で日々向き合っているのが、「精度の数字を、どうすれば正直に、正しく語れるのか」という問題です。たとえば、検出器の Recall（再現率）が 0.95 だったとします。これは高い数字に見えます。しかし、その数字はどの種類の文書で測ったものなのか。正解データはどう作ったのか。サンプル数は十分なのか。別の業務文書にも同じ数字を当てはめてよいのか。精度の数字は、単独ではほとんど意味を持ちません。「何を、どの条件で、どう数えたか」とセットになって、はじめて実務で使える数字になります。本記事では、私たちが PII 検出の精度評価に取り組む中で得た、精度を誠実に語るための考え方を紹介します。アルゴリズムの中身ではなく、評価のしかたに焦点を当てます。 1. はじめに：「Recall 0.95

一文の依頼で、調査から資料作成まで。AIエージェント「Bestllam」のデモ動画を公開しました

一文の依頼で、調査から資料作成まで。AIエージェント「Bestllam」のデモ動画を公開しました

こんにちは！本日は当社の統合AIプラットフォーム "Bestllam®" の AIエージェント機能のデモをご紹介いたします！「指示は出せても、AIが本当に仕事を仕上げてくれるのか」生成AIを業務に取り入れる企業が増えています。しかし現場からは、こんな本音も聞こえてきます。「使い方を覚えるより、自分でやったほうが早い」「指示を細かく出し直しているうちに、結局時間がかかる」「便利なのは分かるが、機密情報を入力していいのか不安」 AIを"個人の便利ツール"の域から、"部門の成果"へと引き上げる。これが当社の法人向け統合AIプラットフォーム Bestllam（ベストラム）が掲げるテーマです。今回、そのAIエージェント機能を実際の操作画面とともに紹介する動画を公開しました。たった一文の依頼が、7枚のレポートになるまで動画のデモはシンプルです。エージェントに、こう入力します。「先月の売上を年代別に分析し、資料にまとめてください」これだけです。すると、エージェントはまず自分でTODOリストを組み立て、何をどの順番で進めるかという段取りを示します

NCCL error: unhandled cuda error が出たら ─ WSL2 + マルチGPU + vLLM で詰まった話

NCCL error: unhandled cuda error が出たら ─ WSL2 + マルチGPU + vLLM で詰まった話

こんにちは! Qualitegプロダクト開発部です！今日は、Windows + WSL2 のマシンに RTX 4090 を2枚挿して、大規模なオープンモデルを vLLM で動かそうとしたら、NCCL の初期化で見事に詰まった話を書きます。世の中に断片的にしか情報がなく、抜けるまでにかなり粘ったので、同じ構成で消耗している方の時間を少しでも節約できれば嬉しいです。経緯今回の目的は、次々と登場する最新のオープンモデル（オープンウェイトのLLM）を、手元で評価することでした。オープンモデルは数週間単位で新しいものが出てきます。ベンチマークの数字だけでなく、自分たちのユースケースに対して実際にどう振る舞うのか——出力の質、速度、量子化したときの劣化具合、エージェント的なタスクの得手不得手——を、手を動かして確かめています今回の環境は Windows + WSL2(Ubuntu) に RTX 4090 を2枚(各24GB)挿したマシンです。 nvidia-smi 上の CUDA Version は 12.8。動かすのは大規模オープンモデルを

Claude Codeで「The model's tool call could not be parsed」が頻発する問題の原因分析と対策

Claude Codeで「The model's tool call could not be parsed」が頻発する問題の原因分析と対策

こんにちは！Qualitegプロダクト開発部です。 Claude Code（CLI）を使った開発中に、次のようなエラーが繰り返し表示されて作業が止まる現象に遭遇しました。 ● The model's tool call could not be parsed (retry also failed). リトライしても直らず、/clear で会話をリセットしても、しばらく作業を続けるとまた同じエラーが出るという状況です。本記事では、実際のセッションログ（jsonl）を解析して特定した原因と、その対策について共有します。結論から書くと、これは利用者側の設定ミスやコンテキスト枯渇が原因ではなく、 Opus 4.7（1Mコンテキスト）+ extended thinking の組み合わせで発生する、モデル応答側のストリーミングバグでした。現象エラーが発生した環境は以下のとおりです。 * Claude Code 2.1.148 * モデル: Opus 4.