(株)Qualiteg - Qualiteg Blog (Page 13)

GPUマシン自作

[自作日記13] 電源ケーブルの結線

さて、そろそろ組み立ても終盤です！がんばりましょう！ 1.マザーボード用給電ケーブルを挿す 24ピンATXケーブルというもっともたくさん束ねられているケーブルがありますので、まずはそれを電源側の M/B 表記のところに挿し込みます次に同ケーブルをマザーボード側に挿します。しっかりツメがかみ合うように装着します２.CPUへの給電ケーブルを挿す次はCPUケーブルです。通常６ピン＋２ピンの構成になっており、こちらも電源側とマザーボード側双方に装着します。まず電源側の CPU/PCI-E と表示のあるところに、片一方を挿します続いてマザーボード側にも挿しましょう。しっかりと挿さりましたマザーボード表面に　CPU　PWR1,CPU PWR2 と書いてある場合もあれば、 ATX12V1,ATX12V2　とだけ書いてある場合などがあります。メーカーによって表記が異なります。 3.グラフィックボード用の給電ケーブルを挿すグラボの種類にもよりますが、大型グラボは多くの電力を必要とします。今回のグラフィックボードは 3系統のPCI電源が必要となるため

日々の開発Tips

LLMのデータファイルを無圧縮ZIPにする

LLMサービスをつくっていると、１回ダウンロードしたLLMを別のサーバーに移動するということをよくやります。（同一構成のサーバーで同じLLMモデルつかいたいときは、たとえば、HuggingFaceから再度ダウンロードするより早いので）このときフォルダのままだと移動しづらいとき ZIP に圧縮します。無圧縮だと、GB単位でも結構高速に圧縮できます。 ZIP のインストール sudo apt install zip -y 無圧縮ZIPの作成対象の LLM ディレクトリを指定して、以下のコマンドを実行たとえば、LLMディレクトリが /mnt/d/RakutenAI-7B-chat-awq のとき、 cd /mnt/c/RakutenAI-7B-chat-awq zip -r -0 /mnt/c/RakutenAI-7B-chat-awq.zip . コマンド詳細 * cd /mnt/c/RakutenAI-7B-chat-awq: 圧縮するフォルダに移動します。 * zip: zipコマンドの実行 * -r: フォルダ内のファイルやサブフォルダを再帰的

AI数理

[AI数理]徹底的に交差エントロピー(2)

おはようございます！(株) Qualiteg 研究部です。早速、前回の続きをやっていきましょう！ 2章分類問題は「確率」の予測として解釈する Deep Learning やロジスティック回帰などで解きたい分類問題では、入力データがどのクラスに分類されるのかを予測します。まず入力データが何かに分類されるとはどういうことなのかを考えてみます。たとえば、ある動物の画像を入力データとしたとき、その画像がイヌ、キツネ、オオカミの3つのうちどれなのかを予測する分類器を考えます。（分類器は入力と処理と出力があり、入力は画像データで、処理としてニューラルネットワークやロジスティック回帰などの計算処理をおこない、分類結果を出力するプログラムコードと考えます）この分類器にたとえば　「イヌ」の画像を入力し、分類させた結果は「イヌ」とダイレクトに判定されるわけではありません。ではどのように分類するか

AI-Business

[AI新規事業創出]Qualitegが考える、仮説探索、顧客理解のための調査設計と準備方法

アイディア創出の事前準備として、ターゲットユーザーの課題を明らかにし、解決策を提案する方法を解説します。課題探索の目的と目標を定義し、競合の利用者からヒアリングします。また、調査手法と対象ユーザーの選定を明確にし、実際のインタビューでは深い洞察を得るために詳細な質問を繰り返します。

GPUマシン自作

[自作日記12] グラボをマザーボードに装着！

今回は、いよいよ、主役のグラフィックボードを装着します！ 1.PCI Express スロットのカバーをはずすグラフィックボードを挿入するのは PCI Express gen 5 x16 スロットなので、その部分のカバーをはずします。また、今回のグラフィックボードは 4 スロット占有なのでそこから4スロット分のカバーをはずしておきます。 2.グラフィックボードを開梱する今回のパーツでもっとも高価だったグラボをいよいよ開梱しましょう！おおおグラボ本体と、支え用のアームが入っています。袋からとりだすと、34センチのビッグサイズの MSI SUPRIM X GeForce RTX 3090 Tiがお目見え！ヒートシンクがすごいですね。こちらら側は、３連装のプロペラファンです。MSIのドラゴンマークがかっこいいです。コンシューマー用グラボは見た目もかっこいいですね。さて、さっそく、このグラフィックボードを、PCI Express スロットに装着するんですが、端子部分に実はカバーがかかっていますので、まず、そのカバーを外します。端子カバーをは

LLM セキュリティ

【LLMセキュリティ】Llama Guard :AI安全性の第一歩

こんにちは、Qualiteg研究部です。本日は昨年末(2023年12月)に発表された Llama Guard について解説いたします。近年、AI技術の進化は目覚ましく、その応用範囲は広がっています。しかし、その一方で、AIシステムが生成するコンテンツの安全性に対する懸念も高まっています。そこで登場したのが、Meta社によって開発されたLlama GuardというAIモデル(LLMです）です。このモデルは、AIが生成するコンテンツの安全性を評価し、不適切な内容を防ぐための重要なツールとなっています。本記事では、Llama Guardの特徴やその効果について詳しく解説いたします。 Llama Guardの概要 Llama Guardは、大規模言語モデル（LLM）に対する入力プロンプト　および　出力レスポンス　の両方にたいしてセーフガードを導入するツールであり、LLMシステムが生成するコンテンツを安全に保つための仕組みを提供しています。具体的には、LLMシステムへの入力および出力情報が不適切でないかを判断するための「安全リスク分類法」により、「安全」か「安全でないか

AI-Business

[AI新規事業創出]Qualitegオリジナル、仮説探索と顧客理解で行うべき7つのステップとは

新規事業開発において、クライアントはしばしば「仮説探索」という用語に馴染みがないことが多いです。事業アイデアを考える前に、ターゲットユーザーの具体的な課題を把握する「顧客の課題仮説探索」が必要です。このプロセスを通じて、本当に市場で求められるサービスのアイディアを形成し、事業成功の可能性を高めるための戦略を立てます。

GPUマシン自作

[自作日記11] マザーボードとケースの配線をする

今回は、マザーボードをケースに装着し各種配線を行っていきます！ 1. スペーサーネジをはめるケースにはスペーサーネジというものが付属しています。これをケースにハメていきます。スペーサーはマザーボードを　”浮かせた”　状態で固定するためのものです。このスペーサーをケースにあいたネジ穴にはめていきます。ケースにはネジ穴があらかじめあいており、ネジ穴にはヒントが書いてあります。今回のケースには ATX と Mini ATX のフォームファクタのマザーボードに対応しており、ネジ穴は、どのフォームファクタ向けのネジ穴なのかがヒントとして書いてあります。フォームファクタとは PCケースのサイズや形状の規格を指し、主にマザーボードとの互換性に基づいて定義されます。主なフォームファクタには以下のようなものがあります： 1. ATX: * 標準ATXは、最も一般的なフォームファクタで、多くの拡張スロットと豊富な接続ポートを備えています。サイズはおおよそ30.5cm x 24.4cmです。 * Micro-ATX（マイクロATX）は、標準ATXよりも小さく、サ

AI数理

[AI数理]徹底的に交差エントロピー(1)

おはようございます！(株) Qualiteg 研究部です。今日からは交差エントロピーについて、徹底的に学んでいきたいとおもいます。交差エントロピー関数の式は２つあるの？本シリーズではは、機械学習で分類問題の損失関数としてよく使用される交差エントロピー関数をとりあげます。実はこれまで学んできた　指数関数や対数関数の微分法は、この交差エントロピー関数を深く理解するためのものでした。交差エントロピーがどのような性質をもっていて、どのように導かれていくのかを理解するのは今後のLLMの仕組み解明でも大いに役立つのでしっかりみていきたいとおもいます！さて、さっそくですが、下の $(1)$ は交差エントロピー関数です $$ \ - \frac{1}{N} \sum_{i}^{N} \sum_{k}^{K} t_{ik} \log y_{ik} \tag{1} $$ 下の $(2)$ も、交差エントロピー関数　です。 $$ \ - \frac{1}{N} \sum_{i}

日々の開発Tips

逐次生成されるトークンのバッファリング

こんにちは！ (株)Qualiteg プロダクト開発部です！今日は、推論シーンでよくある、トークン細切れ問題に対処する方法をご紹介します。ストリーミングチャットで使用する逐次生成のとき、文章は１トークンずつ生成されますが、１トークンは”単語単位”でもなければ”１文字”単位でもなく、学習時使われていたトークナイザーの処理に依存します。一般的には　形態素解析→サブワード→語彙リスト構築　を行いますが、このとき、後で文章生成するときに重要なタグ、たとえば "<NL>" というタグが重要な意味をもつにもかかわらず、細切れにされてトークナイズされてしまうことがあります。たとえば、 "<" "N" "L>" のように粉砕されてしまうようなパターンです。（これを避ける方法はあるのですが、今回は、学習済のモデルをあからじめ与えられた状態でどうするか、を考えます）こういうパターンが発生してしまったとき逐次生成で "

AI-Business

[AI新規事業創出]Qualitegオリジナル、事業責任者との合意形成のための新規事業方向性まとめ方

このブログでは、新規事業の事業責任者とのゴール合意形成方法を解説しています。Step1では事業のビジョンと目標を明確化し、数値目標を設定します。Step2では達成のためのロードマップとKPIを作成し、Step3では定期的なミーティングで進捗を共有し調整します。これにより、新規事業推進の体制を効果的に整えることができます。

GPUマシン自作

[自作日記10] マザーボードにCPU、メモリ、SSDを装着する

マザーボードまわりをセットアップしていきます 1.マザーボード開封の儀今回購入したマザーボードは【ASRock Z690 Steel Legend WiFi 6E/D5】です。早速開封していきましょう！箱をあけると、ケーブル類とマニュアル類が上段の小箱にはいっています。つぎに、中箱をあけます。おーマザーボードが見えてきました美しい！ワクワクしてきました～写真左側中央部は LGA 1700 ソケットにカバーがかかった状態です。ここにCPUを設置します。また LGA 1700 ソケットの上側にはメモリモジュールを挿入する DDR5 のメモリスロット4つがみえます。そして水平中央付近に SSD を設置する M.2 スロットがあります。（写真ではヒートシンクがありますが、その下にスロットがあります）そこからやや右側にグラボを挿す PCI Express x16 スロットがあります。ざっとこんな感じで主要部品を設置していきましょう。 2.マザーボードの配線図はあらかじめ印刷しておくと便利付属のマニュアルに配線図がついている

非LLM生成AI

MagicAnimate を試す

Magic Animate は画像の動画化をしてくれるオープンソースです今回は、Windows版をつかってやってみます実験環境は Core i7 + 64GB Ram + RTX 3090 ですインストールに約30分、ストレージ容量として32GB 程度消費しますのでご注意ください。作業ディレクトリの作成 d:/ にai_experiment というディレクトリをつくり、その下で作業してみます PowerShellを開いて、以下実行します d: mkdir ai_experiment 実行結果 Windows PowerShell Copyright (C) Microsoft Corporation. All rights reserved. PS D:\> mkdir ai_experiment ディレクトリ: D:\ Mode LastWriteTime Length Name

ChatStream Guide

[ChatStream] lightblue/karasu-7B-chat-plus 用 ChatPrompt

こんにちは！ (株)Qualiteg プロダクト開発部です！本稿では lightblue/karasu-7B-chat-plus 用の ChatPrompt をご紹介します。旧バージョンの ChatStream をご利用のお客様は本ChatPromptをインポートすることで利用可能となります。（最新の配信バージョンではバンドルされております） from chatstream import AbstractChatPrompt from chatstream.chat_prompt.role_type import RoleType SYSTEM_PROMPT = """\ あなたはAIアシスタントです。\ """ class ChatPromptLightblueKarasuChatPlus(AbstractChatPrompt): def __init__(self): super().__init__() # Call the initialization of the base

AI数理

[AI数理]対数関数の微分法・後編

おはようございます！(株) Qualiteg 研究部です。本日は対数関数の微分法の後編です！今回で、対数関数の微分法をマスターしましょう！ 2. 対数関数の公式まず、対数関数の公式をおさえておきます。あとで対数関数の微分法の導出で使用します $a^{0} = 1$ 、つまり $a$ を $0$ 乗すると $1$ となるため $$ \log_a 1 = 0 \tag{2.1} $$ $a^{1} = a$ 、つまり $a$ を $1$ 乗すると $a$ となるため $$ \log_a a = 1 \tag{2.2} $$ 積の対数 $$ \log_a (X

AI-Business

[AI新規事業創出]Qualitegが考える、自身の成果実証のための定量的ゴール定義とは

新規事業のゴール設定では、多くのクライアントが数値目標を設定していないため、後に困難を経験することが多いです。定量的ゴール定義は、具体的な数値を用いて目標を設定し、目標達成の進捗を明確に測定する手法です。これにより、モチベーションの向上、効率的なリソース配分、成果の最大化に寄与します。事業初期に数値目標を設定することの重要性を解説しています。

Latest

[自作日記13] 電源ケーブルの結線

LLMのデータファイルを無圧縮ZIPにする

[AI数理]徹底的に交差エントロピー(2)

[AI新規事業創出]Qualitegが考える、仮説探索、顧客理解のための調査設計と準備方法

[自作日記12] グラボをマザーボードに装着！

【LLMセキュリティ】Llama Guard :AI安全性の第一歩

[AI新規事業創出]Qualitegオリジナル、仮説探索と顧客理解で行うべき7つのステップとは

[自作日記11] マザーボードとケースの配線をする

[AI数理]徹底的に交差エントロピー(1)

逐次生成されるトークンのバッファリング

[AI新規事業創出]Qualitegオリジナル、事業責任者との合意形成のための新規事業方向性まとめ方

[自作日記10] マザーボードにCPU、メモリ、SSDを装着する

MagicAnimate を試す

[ChatStream] lightblue/karasu-7B-chat-plus 用 ChatPrompt

[AI数理]対数関数の微分法・後編

[AI新規事業創出]Qualitegが考える、自身の成果実証のための定量的ゴール定義とは