(株)Qualiteg - Qualiteg Blog (Page 9)

GPUマシン自作

[自作日記10] マザーボードにCPU、メモリ、SSDを装着する

マザーボードまわりをセットアップしていきます 1.マザーボード開封の儀今回購入したマザーボードは【ASRock Z690 Steel Legend WiFi 6E/D5】です。早速開封していきましょう！箱をあけると、ケーブル類とマニュアル類が上段の小箱にはいっています。つぎに、中箱をあけます。おーマザーボードが見えてきました美しい！ワクワクしてきました～写真左側中央部は LGA 1700 ソケットにカバーがかかった状態です。ここにCPUを設置します。また LGA 1700 ソケットの上側にはメモリモジュールを挿入する DDR5 のメモリスロット4つがみえます。そして水平中央付近に SSD を設置する M.2 スロットがあります。（写真ではヒートシンクがありますが、その下にスロットがあります）そこからやや右側にグラボを挿す PCI Express x16 スロットがあります。ざっとこんな感じで主要部品を設置していきましょう。 2.マザーボードの配線図はあらかじめ印刷しておくと便利付属のマニュアルに配線図がついている

非LLM生成AI

MagicAnimate を試す

Magic Animate は画像の動画化をしてくれるオープンソースです今回は、Windows版をつかってやってみます実験環境は Core i7 + 64GB Ram + RTX 3090 ですインストールに約30分、ストレージ容量として32GB 程度消費しますのでご注意ください。作業ディレクトリの作成 d:/ にai_experiment というディレクトリをつくり、その下で作業してみます PowerShellを開いて、以下実行します d: mkdir ai_experiment 実行結果 Windows PowerShell Copyright (C) Microsoft Corporation. All rights reserved. PS D:\> mkdir ai_experiment ディレクトリ: D:\ Mode LastWriteTime Length Name

ChatStream Guide

[ChatStream] lightblue/karasu-7B-chat-plus 用 ChatPrompt

こんにちは！ (株)Qualiteg プロダクト開発部です！本稿では lightblue/karasu-7B-chat-plus 用の ChatPrompt をご紹介します。旧バージョンの ChatStream をご利用のお客様は本ChatPromptをインポートすることで利用可能となります。（最新の配信バージョンではバンドルされております） from chatstream import AbstractChatPrompt from chatstream.chat_prompt.role_type import RoleType SYSTEM_PROMPT = """\ あなたはAIアシスタントです。\ """ class ChatPromptLightblueKarasuChatPlus(AbstractChatPrompt): def __init__(self): super().__init__() # Call the initialization of the base

AI数理

[AI数理]対数関数の微分法・後編

おはようございます！(株) Qualiteg 研究部です。本日は対数関数の微分法の後編です！今回で、対数関数の微分法をマスターしましょう！ 2. 対数関数の公式まず、対数関数の公式をおさえておきます。あとで対数関数の微分法の導出で使用します $a^{0} = 1$ 、つまり $a$ を $0$ 乗すると $1$ となるため $$ \log_a 1 = 0 \tag{2.1} $$ $a^{1} = a$ 、つまり $a$ を $1$ 乗すると $a$ となるため $$ \log_a a = 1 \tag{2.2} $$ 積の対数 $$ \log_a (X

AI-Business

[AI新規事業創出]Qualitegが考える、自身の成果実証のための定量的ゴール定義とは

新規事業のゴール設定では、多くのクライアントが数値目標を設定していないため、後に困難を経験することが多いです。定量的ゴール定義は、具体的な数値を用いて目標を設定し、目標達成の進捗を明確に測定する手法です。これにより、モチベーションの向上、効率的なリソース配分、成果の最大化に寄与します。事業初期に数値目標を設定することの重要性を解説しています。

ChatStream Guide

[ChatStream] Llama2 対応の ChatPrompt実装

こんにちは！ (株)Qualiteg プロダクト開発部です！本稿では、 ChatStream にLlama2 対応の ChatPrompt を同梱いたしましたのでご紹介いたします！現在の ChatPrompt は以下とおりとなっております。旧バージョンのChatStreamをご利用の場合も、以下コードにて Llama2対応可能です。（もちろん最新バージョンのChatStreamには同梱済です） from chatstream import AbstractChatPrompt from chatstream.chat_prompt.role_type import RoleType SYSTEM_PROMPT = """\ You are a helpful, respectful and honest assistant. Always answer as helpfully as possible, while

GPUマシン自作

[自作日記9] AI研究用GPUマシンパーツと組み立て開始！

昨日、秋葉原で合計41.5万円分のGPUマシンのパーツを購入してきましたのでご報告します！ GPUマシンパーツ * マザーボード: ASRock Z690 Steel Legend 約4万円 * メモリ: Crucial デスクトップ用 DDR5 32G x 2 = 約3万円 * CPU: Intel Core i7 12700 約5万円 * GPU:MSI SUPRIM X GeForce RTX 3090 Ti 約20万円 * SSD:SAMSUNG 980 PRO 2T 約3万円 * 電源:850W OWLTECH　PC電源 850W /ATX /Titanium 約4.5万円 * ケース:Fractal

ChatStream Guide

[ChatStream] rinna/nekomata-14b-instruction 用の ChatPromptクラス

2023/12/21 に発表された rinna/nekomata-14b-instruction 用の ChatPrompt をご紹介します nekomataシリーズは Qwen をベースモデルしているおり、語彙サイズが 15.2万とこれまでより大幅に大きいため、日本語対応にもおおいに期待できそうですね今回はInstructionチューニングされたモデルをChatStreamのチャットモードで利用するためのChatPromptを作りました。設計思想としましては、あるタスクとChatPrompt を対応させる、という考え方です。簡単にいうと、１つのChatPromptは１つの仕事に特化させる、というところでしょうか。たとえば、今回は、「翻訳」というタスクに特化した ChatPrompt の例です。これにより　翻訳　というタスクに対して、　「入力」と「出力」というをチャットインタフェースを通して行います。 from chatstream import AbstractChatPrompt from chatstream.chat_prompt.prompt_ttl im

ChatStream Guide

[ChatStream] 時間のかかるモデル読み込みにプログレスバーをつける

こんにちは (株)Qualiteg プロダクト開発本部です！ HuggingFace の LLMのモデル読み込み時間ってとても長いですよね、そんなときに、便利なツールをご紹介します。 HuggingFace の LLM モデルはダウンロードするときは、進捗がでるのですが、ひとたびダウンロードしたあとは、読み込むまで短くて数分、長くて数十分待たされます。これはディスクからモデルデータ（weights and bias）を処理しながらGPUのVRAMに読み込む処理に時間がかかるのですが、その読み込み状態がいったいいまどのくらいなのか、これがわからず、ヤキモキしたことは無いでしょうか。そこでは ChatStreamの便利機能として、以下のように、このモデル読み込み時間のプログレス表示をすることができます。仕掛けはいたってシンプルで、初回の読み込み実行時に処理時間を計測しておき、2回目、また同じ処理が呼ばれたときはプログレスバーを表示します。使い方も簡単で、モデルの読み込みを LoadTime でラップするだけで、プログレスバーつきで読み込むことができます Before

AI-Business

[AI新規事業創出]Qualitegが考える、アイディア出しの前にすべき競合サービス概要調査とは

競合サービス調査はアイディア創出前に重要で、市場ニーズと競合の戦略を理解するために行います。具体的には、サービス内容、価格設定、市場の魅力度や競合のビジネスモデルを詳細に分析し、自社の差別化ポイントを見つけるためです。大手企業は、M&Aの可能性も検討します。

ChatStream Guide

[ChatStream] Transformer応答をモックする Transformer Mock

こんにちは！ (株)Qualiteg プロダクト開発部です！本稿では、モックデータの作成方法について説明します！　これは正式には「Transformer Mock」と呼ばれている機能のためのもので、実際のLLM出力をレコーディングして再現するためのものです。なぜこんなことが必要かというと、 LLM アプリのテスト（単体テストなど）で使用します。LLMアプリのテストをするとき、古典的な単体テストでは、入力に対して期待する出力は固定されていることが前提です。ところがLLMはその特性上、同一の入力に対しても毎回異なる応答を返してきます。そこが生成AIの良いところですが古典的な単体テストをするときには悩んでしまいます。ここで賢い読者の皆様は、同一の入力に対して、同一の出力を得たいなら、シードを固定すればいいじゃん。とお考えの方もいらっしゃるとおもいますが、シード値を固定して、入力を固定して、各種サンプリングパラメータを固定しても GPUの種類が異なると異なる出力を出してしまう、ということがわかっています。これでは、GPUを変更したとたんに単体テストが通らなくなって困ってし

GPUマシン自作

[自作日記8] 電源、SSD、ケースは？

今日は電源、SSD、ケースの購入です！ Junです。残りは電源とSSD、ケースをゲットすれば一通り揃いそうです。また、置手紙をみてみます。 ⑥ SSD は 1T以上。 ⑦ 電源は 800W 以上、 80Plus Titanium ⑧ ケースはグラボがちゃんと入ることを確認すること！ SSDの選定 SSDは、1T以上ということで、　3万円の SAMSUNG 980 PRO 2T　を購入。電源の選定電源装置は 800W 以上ということで 850W OWLTECH　PC電源 850W /ATX /Titanium　PRIMETX850S を 4.5万円で購入しました。ケースの選定さて、残るはケースです。 ⑧ ケースはグラボがちゃんと入ることを確認すること！この意味がよくわからなかったので、店員さんに相談することにしました。今回は ATX サイズのケースを購入する予定ですが、 ATX

LLM セキュリティ

【LLMセキュリティ】ゼロリソースブラックボックスでの幻覚(ハルシネーション)検出

こんにちは、Qualiteg研究部です。今回は、データベースなど外部の情報を使用しない「ゼロリソース」状態での幻覚（ハルシネーション）検出の手法である以下論文について解説いたします。 SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models https://arxiv.org/abs/2303.08896 背景 LLMが出力する「幻覚」の問題近年、生成型大規模言語モデル（LLMs）は、多様なユーザープロンプトに対して非常に流暢な応答を生成する能力を持っています。しかし、これらのモデルは事実を幻覚させたり、非事実的な発言をすることが知られており、出力への信頼性を損なう可能性があります。この問題に対処するための既存のファクトチェック手法は、出力確率分布へのアクセスが必要だったり、外部データベースを使用した複雑なモジュールを必要としたりします。本論文では、SelfCheckGPTと呼ばれる新しいアプローチを提案しています。このア

AI数理

[AI数理]対数関数の微分法・前編

おはようございます！(株) Qualiteg 研究部です。本日から２回にわたって対数関数について学んでいきましょう。正確にいうと、対数関数の微分法を学びます。対数関数って何だっけ？まず、対数関数というのは、「ある数 $ x $ が別の数 $ b $ を何回かけると $ x $ になるか」を調べる方法です。例えば、$ b $ が 2 で $ x $ が 8 の場合、2 を 3 回かけると 8 になります。この場合、数学的には「$ b $ の $ x $ に対する対数」と言います。これを数式で表すと、次のようになります： $$ \log_b(x) = y $$ ここで $ b $ は底（

ChatStream Guide

[ChatStream] LLMの読み込みが長いときは Generator Mock レスポンス

こんにちは！ (株)Qualiteg プロダクト開発部です！本稿では、LLMの読み込みに時間がかかるときに使えるテクニックについてご紹介いたします。テスト用途や、ChatStream の API をつかったサンプルアプリを実装したいときに、何度か ChatStream を再起動しては、試してみたいというシーンがあります。そういうときに、本来は LLM として読み込まなくても、ChatStreamのAPIにそった”決まり切った”レスポンスで問題がないという場合があります。このとき、サイズの小さなLLMを読んで読み込み時間を短縮するというワザもあるのですが、そもそも、固定的なレスポンスを返してくれればそれでOKという場合は、 Mockレスポンス　を指定することができます。再起動のたびに、 LLM を読み込む時間にストレスを感じていた方はぜひこちらをお試しくださいませ！ Generator Mockレスポンスの利用（高速起動） Generator Mockレスポンスを使用すると読み込みに時間のかかる事前学習済言語モデルのかわりに、ダミーの文章を生成させることがで

AI-Business

[AI新規事業創出]Qualitegが考える、企画後にもめないための新規事業承認判断軸の検討方法とは

新規事業の検討において、クライアントからの相談は手段ありきで始まることが多く、DXやAI導入の提案が役員から承認されないケースが多いです。事業化の承認を得るためには、なぜその事業を自社で行う必要があるのか、その目的とゴールを明確に設定することが重要です。

Latest

[自作日記10] マザーボードにCPU、メモリ、SSDを装着する

MagicAnimate を試す

[ChatStream] lightblue/karasu-7B-chat-plus 用 ChatPrompt

[AI数理]対数関数の微分法・後編

[AI新規事業創出]Qualitegが考える、自身の成果実証のための定量的ゴール定義とは

[ChatStream] Llama2 対応の ChatPrompt実装

[自作日記9] AI研究用GPUマシンパーツと組み立て開始！

[ChatStream] rinna/nekomata-14b-instruction 用の ChatPromptクラス

[ChatStream] 時間のかかるモデル読み込みにプログレスバーをつける

[AI新規事業創出]Qualitegが考える、アイディア出しの前にすべき競合サービス概要調査とは

[ChatStream] Transformer応答をモックする Transformer Mock

[自作日記8] 電源、SSD、ケースは？

【LLMセキュリティ】ゼロリソースブラックボックスでの幻覚(ハルシネーション)検出

[AI数理]対数関数の微分法・前編

[ChatStream] LLMの読み込みが長いときは Generator Mock レスポンス

[AI新規事業創出]Qualitegが考える、企画後にもめないための新規事業承認判断軸の検討方法とは