(株)Qualiteg - IT & AIテクノロジー

日々の開発Tips

LLMのデータファイルを無圧縮ZIPにする

LLMサービスをつくっていると、１回ダウンロードしたLLMを別のサーバーに移動するということをよくやります。（同一構成のサーバーで同じLLMモデルつかいたいときは、たとえば、HuggingFaceから再度ダウンロードするより早いので）このときフォルダのままだと移動しづらいとき ZIP に圧縮します。無圧縮だと、GB単位でも結構高速に圧縮できます。 ZIP のインストール sudo apt install zip -y 無圧縮ZIPの作成対象の LLM ディレクトリを指定して、以下のコマンドを実行たとえば、LLMディレクトリが /mnt/d/RakutenAI-7B-chat-awq のとき、 cd /mnt/c/RakutenAI-7B-chat-awq zip -r -0 /mnt/c/RakutenAI-7B-chat-awq.zip . コマンド詳細 * cd /mnt/c/RakutenAI-7B-chat-awq: 圧縮するフォルダに移動します。 * zip: zipコマンドの実行 * -r: フォルダ内のファイルやサブフォルダを再帰的

AI数理

[AI数理]徹底的に交差エントロピー(2)

おはようございます！(株) Qualiteg 研究部です。早速、前回の続きをやっていきましょう！ 2章分類問題は「確率」の予測として解釈する Deep Learning やロジスティック回帰などで解きたい分類問題では、入力データがどのクラスに分類されるのかを予測します。まず入力データが何かに分類されるとはどういうことなのかを考えてみます。たとえば、ある動物の画像を入力データとしたとき、その画像がイヌ、キツネ、オオカミの3つのうちどれなのかを予測する分類器を考えます。（分類器は入力と処理と出力があり、入力は画像データで、処理としてニューラルネットワークやロジスティック回帰などの計算処理をおこない、分類結果を出力するプログラムコードと考えます）この分類器にたとえば　「イヌ」の画像を入力し、分類させた結果は「イヌ」とダイレクトに判定されるわけではありません。ではどのように分類するか

GPUマシン自作

[自作日記12] グラボをマザーボードに装着！

今回は、いよいよ、主役のグラフィックボードを装着します！ 1.PCI Express スロットのカバーをはずすグラフィックボードを挿入するのは PCI Express gen 5 x16 スロットなので、その部分のカバーをはずします。また、今回のグラフィックボードは 4 スロット占有なのでそこから4スロット分のカバーをはずしておきます。 2.グラフィックボードを開梱する今回のパーツでもっとも高価だったグラボをいよいよ開梱しましょう！おおおグラボ本体と、支え用のアームが入っています。袋からとりだすと、34センチのビッグサイズの MSI SUPRIM X GeForce RTX 3090 Tiがお目見え！ヒートシンクがすごいですね。こちらら側は、３連装のプロペラファンです。MSIのドラゴンマークがかっこいいです。コンシューマー用グラボは見た目もかっこいいですね。さて、さっそく、このグラフィックボードを、PCI Express スロットに装着するんですが、端子部分に実はカバーがかかっていますので、まず、そのカバーを外します。端子カバーをは

GPUマシン自作

[自作日記11] マザーボードとケースの配線をする

今回は、マザーボードをケースに装着し各種配線を行っていきます！ 1. スペーサーネジをはめるケースにはスペーサーネジというものが付属しています。これをケースにハメていきます。スペーサーはマザーボードを　”浮かせた”　状態で固定するためのものです。このスペーサーをケースにあいたネジ穴にはめていきます。ケースにはネジ穴があらかじめあいており、ネジ穴にはヒントが書いてあります。今回のケースには ATX と Mini ATX のフォームファクタのマザーボードに対応しており、ネジ穴は、どのフォームファクタ向けのネジ穴なのかがヒントとして書いてあります。フォームファクタとは PCケースのサイズや形状の規格を指し、主にマザーボードとの互換性に基づいて定義されます。主なフォームファクタには以下のようなものがあります： 1. ATX: * 標準ATXは、最も一般的なフォームファクタで、多くの拡張スロットと豊富な接続ポートを備えています。サイズはおおよそ30.5cm x 24.4cmです。 * Micro-ATX（マイクロATX）は、標準ATXよりも小さく、サ

AI数理

[AI数理]徹底的に交差エントロピー(1)

おはようございます！(株) Qualiteg 研究部です。今日からは交差エントロピーについて、徹底的に学んでいきたいとおもいます。交差エントロピー関数の式は２つあるの？本シリーズではは、機械学習で分類問題の損失関数としてよく使用される交差エントロピー関数をとりあげます。実はこれまで学んできた　指数関数や対数関数の微分法は、この交差エントロピー関数を深く理解するためのものでした。交差エントロピーがどのような性質をもっていて、どのように導かれていくのかを理解するのは今後のLLMの仕組み解明でも大いに役立つのでしっかりみていきたいとおもいます！さて、さっそくですが、下の $(1)$ は交差エントロピー関数です $$ \ - \frac{1}{N} \sum_{i}^{N} \sum_{k}^{K} t_{ik} \log y_{ik} \tag{1} $$ 下の $(2)$ も、交差エントロピー関数　です。 $$ \ - \frac{1}{N} \sum_{i}

日々の開発Tips

逐次生成されるトークンのバッファリング

こんにちは！ (株)Qualiteg プロダクト開発部です！今日は、推論シーンでよくある、トークン細切れ問題に対処する方法をご紹介します。ストリーミングチャットで使用する逐次生成のとき、文章は１トークンずつ生成されますが、１トークンは”単語単位”でもなければ”１文字”単位でもなく、学習時使われていたトークナイザーの処理に依存します。一般的には　形態素解析→サブワード→語彙リスト構築　を行いますが、このとき、後で文章生成するときに重要なタグ、たとえば "<NL>" というタグが重要な意味をもつにもかかわらず、細切れにされてトークナイズされてしまうことがあります。たとえば、 "<" "N" "L>" のように粉砕されてしまうようなパターンです。（これを避ける方法はあるのですが、今回は、学習済のモデルをあからじめ与えられた状態でどうするか、を考えます）こういうパターンが発生してしまったとき逐次生成で "

GPUマシン自作

[自作日記10] マザーボードにCPU、メモリ、SSDを装着する

マザーボードまわりをセットアップしていきます 1.マザーボード開封の儀今回購入したマザーボードは【ASRock Z690 Steel Legend WiFi 6E/D5】です。早速開封していきましょう！箱をあけると、ケーブル類とマニュアル類が上段の小箱にはいっています。つぎに、中箱をあけます。おーマザーボードが見えてきました美しい！ワクワクしてきました～写真左側中央部は LGA 1700 ソケットにカバーがかかった状態です。ここにCPUを設置します。また LGA 1700 ソケットの上側にはメモリモジュールを挿入する DDR5 のメモリスロット4つがみえます。そして水平中央付近に SSD を設置する M.2 スロットがあります。（写真ではヒートシンクがありますが、その下にスロットがあります）そこからやや右側にグラボを挿す PCI Express x16 スロットがあります。ざっとこんな感じで主要部品を設置していきましょう。 2.マザーボードの配線図はあらかじめ印刷しておくと便利付属のマニュアルに配線図がついている

AI数理

[AI数理]対数関数の微分法・後編

おはようございます！(株) Qualiteg 研究部です。本日は対数関数の微分法の後編です！今回で、対数関数の微分法をマスターしましょう！ 2. 対数関数の公式まず、対数関数の公式をおさえておきます。あとで対数関数の微分法の導出で使用します $a^{0} = 1$ 、つまり $a$ を $0$ 乗すると $1$ となるため $$ \log_a 1 = 0 \tag{2.1} $$ $a^{1} = a$ 、つまり $a$ を $1$ 乗すると $a$ となるため $$ \log_a a = 1 \tag{2.2} $$ 積の対数 $$ \log_a (X

GPUマシン自作

[自作日記9] AI研究用GPUマシンパーツと組み立て開始！

昨日、秋葉原で合計41.5万円分のGPUマシンのパーツを購入してきましたのでご報告します！ GPUマシンパーツ * マザーボード: ASRock Z690 Steel Legend 約4万円 * メモリ: Crucial デスクトップ用 DDR5 32G x 2 = 約3万円 * CPU: Intel Core i7 12700 約5万円 * GPU:MSI SUPRIM X GeForce RTX 3090 Ti 約20万円 * SSD:SAMSUNG 980 PRO 2T 約3万円 * 電源:850W OWLTECH　PC電源 850W /ATX /Titanium 約4.5万円 * ケース:Fractal

ChatStream Guide

[ChatStream] rinna/nekomata-14b-instruction 用の ChatPromptクラス

2023/12/21 に発表された rinna/nekomata-14b-instruction 用の ChatPrompt をご紹介します nekomataシリーズは Qwen をベースモデルしているおり、語彙サイズが 15.2万とこれまでより大幅に大きいため、日本語対応にもおおいに期待できそうですね今回はInstructionチューニングされたモデルをChatStreamのチャットモードで利用するためのChatPromptを作りました。設計思想としましては、あるタスクとChatPrompt を対応させる、という考え方です。簡単にいうと、１つのChatPromptは１つの仕事に特化させる、というところでしょうか。たとえば、今回は、「翻訳」というタスクに特化した ChatPrompt の例です。これにより　翻訳　というタスクに対して、　「入力」と「出力」というをチャットインタフェースを通して行います。 from chatstream import AbstractChatPrompt from chatstream.chat_prompt.prompt_ttl im

GPUマシン自作

[自作日記8] 電源、SSD、ケースは？

今日は電源、SSD、ケースの購入です！ Junです。残りは電源とSSD、ケースをゲットすれば一通り揃いそうです。また、置手紙をみてみます。 ⑥ SSD は 1T以上。 ⑦ 電源は 800W 以上、 80Plus Titanium ⑧ ケースはグラボがちゃんと入ることを確認すること！ SSDの選定 SSDは、1T以上ということで、　3万円の SAMSUNG 980 PRO 2T　を購入。電源の選定電源装置は 800W 以上ということで 850W OWLTECH　PC電源 850W /ATX /Titanium　PRIMETX850S を 4.5万円で購入しました。ケースの選定さて、残るはケースです。 ⑧ ケースはグラボがちゃんと入ることを確認すること！この意味がよくわからなかったので、店員さんに相談することにしました。今回は ATX サイズのケースを購入する予定ですが、 ATX

AI数理

[AI数理]対数関数の微分法・前編

おはようございます！(株) Qualiteg 研究部です。本日から２回にわたって対数関数について学んでいきましょう。正確にいうと、対数関数の微分法を学びます。対数関数って何だっけ？まず、対数関数というのは、「ある数 $ x $ が別の数 $ b $ を何回かけると $ x $ になるか」を調べる方法です。例えば、$ b $ が 2 で $ x $ が 8 の場合、2 を 3 回かけると 8 になります。この場合、数学的には「$ b $ の $ x $ に対する対数」と言います。これを数式で表すと、次のようになります： $$ \log_b(x) = y $$ ここで $ b $ は底（

GPUマシン自作

[自作日記7’] コラム:コンシューマ用GPUとプロ用GPUの違い

今回は、コンシューマー用GPUは本格的なAI計算に使用できるのか、プロ用GPUとの違いは何か。比較も交えながら考えてみたいと思います。私たちAI ベンチャー（ベンチャーじゃなくても）でGPUを使うシーンは3つあります。 1. AI研究：最新モデルや論文のちょっとしたお試し小規模な学習。小規模な推論。 2. 学習：いわゆるディープラーニングのトレーニング。長いと数週間、数か月におよぶ。 3. 商用運用：お客様が使用するサービスのバックエンドとしての AIエンジンの商用運用今回 Jun さんが作ろうとしている GPU マシンは　1.AI研究のためのものです。というのも、たとえば、コンシューマー用GPUやコンシューマー用の自作パソコンの場合は長時間にわたるディープラーニングのトレーニングには向いていません。やってる人もたまにみかけますが、心配になります。なぜなら、学習させたいネットワークにもよりますが、１回の学習にかかる時間は数日から数週間、長いと数か月にわたります。その間、GPUをドライブするソフトウェアが安定

AI数理

[AI数理] 指数関数

おはようございます！(株) Qualiteg 研究部です。本日は指数関数を学びましょう。対数関数の微分公式の導出でお役立ちなので、今回の出番となりました。指数関数とは指数関数は、繰り返しの掛け算を表す数学の式です。例えば、「2を3回掛ける」を考えると、これは $2 \times 2 \times 2$ となり、結果は $8$ です。数学的には、これを $2^3 = 8$ と表現します。ここで $2^3$ の形が指数関数であり、「 $2$ 」が底、「$3$」が指数です。指数関数は多くの自然現象や科学技術で見られる現象を表すのに非常に重要です。例えば、銀行の複利計算や細菌の増殖など、時間とともに増加する速度が速くなるような現象です。指数関数はまた、数学において他の多くの概念や公式の基礎ともなっています。特に、対数関数の微分公式の導出には指数関数が不可欠です。対数関数の微分は、対数関数のグラフの傾きを求める計算方法です。この微分公式を理解するためには、指数関数の性質が重要です。指数関数の重要な性質の一つに、

GPUマシン自作

[自作日記7] AI用GPUの選定

今回は、AIに適したグラフィックボード(GPU)の選定をします。本編に行く前に、グラフィックボードとGPUの違いについて整理しておきましょうグラフィックボードは、コンピューターで画像処理やAIの計算を担当する重要なハードウェアでパソコンのPCI Express のスロットに挿入して使用するのが一般的です。一方 GPU はグラフィックボードの主要な構成要素の１つで、グラフィックボードは以下のようなコンポーネントで構成されています。 1. GPUチップ - グラフィック処理の中心で、複雑な数学的計算を高速に実行します。 2. VRAM（ビデオRAM） - GPUが直接アクセスする専用メモリで、ディープラーニングでは、パラメータ（重みやバイアス）や計算過程を保持する役割があり非常に高速に動作します。 3. 冷却システム - GPUが生成する熱を効果的に放散するためのファンやヒートシンク。グラフィックボードとGPUを同一視して書いている記事も多く、私たちもあまり厳密に分けて書いていないですが、実体としては↑のような感じですね。さて、それでは Jun さんの買い物の

GPUマシン自作

[自作日記6] メモリ選定

今回は、メモリや周辺パーツを選定しましょう。メモリ選定にも落とし穴があり、Junさんは見事落とし穴にハマってしまいました。さっそくみていきましょう。ふー。やっとCPUとマザーボードが買えました。あと何を買えばいいんだっけ。ということで、もう一度、先輩の置手紙をみてみます ① CPUは 12世代か13世代のどちらでもよい。 ② GPU中心でつかうため、CPU側の能力は i5程度で問題ない。 ③ マザーボードのチップセットは CPUが12世代ならZ690 か CPUが13世代ならZ790。ATX。 ④ CPUメモリは 64GB 以上。DDR4でもDDR5でもどちらでもOK ⑤ グラボはコンシューマー向けでOKだけど、最上位モデルに近いもの。 ⑥ SSD は 1T以上。 ⑦ 電源は 800W 以上、 80Plus Titanium ⑧ ケースはグラボがちゃんと入ることを確認すること！ ①～③までは無事かえましたので、あとはメモリ、グラボ、SSD、電源、ケースを買わないといけません。まだまだ、買い物ありますね。おなかもすいてきたので、CP