NumPy/PyTorch

本番運用におけるPyTorch+CUDAサーバーでの「Unknown Error」問題とその対策

こんにちは！Qualitegプロダクト開発部です。 今日は、GPUをつかった商用サービスにて悩ましい、テストは全部通るけど、長時間運用をしていると急に起こる「CUDA error: unknown error」についての内容です。 これ、出会うと残念な気持ちになりますが、けっこうGPU商用サービス界隈では「あるある」なんです。 原因を真面目に探るには CUDAバージョン、PyTorchバージョンの調合具合、実際のアプリケーションコードまですべてソースまで追う必要があるのですが、多くの場合、運用でカバーします。 なぜなら仮に１つ原因をみつけて対処できたとしても、CUDAバージョンはしょっちゅうあがりますし、PyTorchもそれに追従して頻繁に更新されます。さらにやっかいなことに、１日、２日、いや1週間くらいは安定的に動作しているようにみえて、数週間後にとつぜんエラーが出るといった具合なので、修正確認の難易度が高いんです。 そこで本日は「開発環境や実験環境」ではなく「本番環境」で発生しがちなこのCUDA Unknown Error について問題の原因と実践的な対策につい

GPUマシン自作

2025年 NVIDIA GPU 一発検索ツール

NVIDIA GPU 一覧検索 シリーズ すべて SM_100 (Blackwell) SM_90 (Hopper) SM_89 (Ada Lovelace) SM_86/SM_87 (Ampere) SM_75 (Turing) SM_70/SM_72 (Volta) SM_60/SM_61/SM_62 (Pascal) SM_50/SM_52/SM_53 (Maxwell) SM_35/SM_37 (Kepler) SM_20 (Fermi)

News

JID 2025 に出展いたしました

こんにちは！ 2025年2月28日(金)に浜離宮となりにあるベルサール汐留にて開催された JID 2025 by ASCII STARTUP に出展してまいりました。 当社からは、AIアバター動画生成ソリューションMotionVox™を中心に出展させていただきました。 JID2025 出展概要記事はこちらです 当ブースにお立ち寄りいただいた皆様、ご商談いただいたお客様各位、また開催に尽力いただいたASCIIさま、スポンサーさま誠にありがとうございました！ 当社はお客様と一対一で丁寧にご説明するスタイルをとっており、当日は最新のフィーチャーに関するご紹介およびデモンストレーションを行わせていただきましたが、混雑時にご対応できなかったお客様も多くいらっしゃり、この点たいへん失礼いたしました。今後改善してまいります！ デモンストレーションのご要望や、ご商談につきましてはお気軽に当社までご連絡くださいますようよろしくお願い申し上げます。 MotionVoxで作った各種ご案内動画 MotionVox使い方 当日お誘い動画 当日の思い出フォト カンファレンスル

AI-Business

[AI新規事業創出]Qualitegオリジナル、受容性評価インタビュー設計方法

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。 受容性評価インタビューは、新しい製品やサービスがターゲット市場にどのように受け入れられるかを評価するための重要な手法です。 新規事業開発のコンサルティングをさせていただいておりますと、受容性評価をされない方、自身にとって都合の良い回答だけを抽出される方、ターゲットユーザーではない人にインタビューをして怒ってしまわれる方など、様々なクライアントがいらっしゃいます。 特に多いのが、複数人にインタビューしたのに、自身の企画したサービスを良いと言ってくれた方だけを抽出して「全員が欲しいと言っています」と報告されようとする方や、インタビューした対象がが身内（職場の同僚）だったりして、お世辞で良いねというまで、「でも、XXすればいいですよね」みたいな形で問いを続ける方

LLM

【解説】Tekken トークナイザーとは何か？ 〜 Mistral が採用する新世代トークナイザーの特徴

こんにちは！ 本日は、Tekkenについて解説いたします！ 皆さま Tekken と聞いて何を思い浮かべますか？ 格ゲーの鉄拳でしょうか？ 私は、昔プレイした Age of Empires に登場する鉄剣戦士を思い浮かべました🤗 ちょっと古いかもしれませんが、名作です！ さてつかみはこのくらいにして、、 LLMはご存じのとおり驚異的なスピードで進化しています。そんな中でひそかに注目されているのが、トークナイザーの改善です。 たとえば、Meta の Llama 系モデルのトークナイザーは Sentence Piece から BPE系へ進化するなど、LLM業界では従来よりも高効率なトークナイズ（テキスト分割）の方法を導入し始めています。 そして Mistral AI もまた、新たに「Tekken トークナイザー」という仕組みを採用し、大規模言語モデルの性能を底上げしています。 本記事では、Tekken トークナイザーの登場背景や技術的特徴、他のトークナイザーとの違い、さらには Mistral との関係などをわかりやすく解説していきます。 1. Tekken トーク

AI-Business

[AI新規事業創出]Qualitegオリジナル、アイディア評価、事業アイディア選定方法

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。 はじめに AI技術の急速な発展は、スタートアップから大企業まで、あらゆるビジネスに新たな可能性をもたらしています。クライアントとの会話の中でも、AIを活用した革新的な事業アイディアに関する相談が増えています。 しかし、多くの企業が「素晴らしいアイディアを思いついた！」と興奮しながらも、そのアイディアを具体化し、成功に導くための方法論に悩んでいるのも事実です。特にAIを用いた事業展開においては、従来のビジネスモデルとは異なる視点が必要となるため、その難しさはさらに増します。 本記事では、Qualitegオリジナルのアイディア評価、事業アイディア選定方法について解説します。特に、AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、

LLM

日本語対応！Mistral Small v3 解説

こんにちは！ Mistral AIは2025年1月30日、新しい言語モデル「Mistral Small v3」を発表しました。このモデルは、24Bという比較的小規模なパラメータ数ながら、70B以上の大規模モデルに匹敵する性能を実現しています。また日本語対応も謳われており期待の高い小型モデルです！ https://huggingface.co/mistralai/Mistral-Small-24B-Instruct-2501 動画 こちら本ブログの解説動画もご覧いただけます😊 きわだってるのは、レイテンシー最適化 Mistral Small 3のめだった特徴は、その処理性能とレイテンシーの絶妙なバランスではないでしょうか。 公開されている以下の性能評価のグラフによると、トークンあたり約11ミリ秒という業界最速レベルのレイテンシーを達成しています。これは、Qwen-2.5 32Bの約15ミリ秒やGemma-2 27Bの約14ミリ秒と比較して、明確な優位性を示しています。さらに注目すべきは、GPT-4o Miniと比較しても、より低いレイテンシーで同等以上の性能を実現し

LLM

[vLLM] To use CUDA with multiprocessing, you must use the 'spawn' start method の対処法

WSLで vLLM を使用するとき、 tensor parallel を使って複数枚のGPUで1つのLLMをサーブしようとしたとき以下のようなエラーが発生しがちです RuntimeError: Cannot re-initialize CUDA in forked subprocess. To use CUDA with multiprocessing, you must use the 'spawn' start method 遭遇するシーンとしてはvLLMの起動オプションに以下のようにテンソル並列化オプションを指定したときです。 --tensor-parallel-size 2 つまり、マルチプロセッシングでCUDA使うときは、 "fork"じゃなくて"spawn" 使ってね、というエラーです。 これを vLLM に教えるために、以下の2行目のように環境変数を設定してあげるとvLLMが "spawn" を使ってくれるようになります。 export

LLM

「Open Deep Research」技術解説

こんにちは！「Deep Research」界隈、にわかに盛り上がりを見せておりますね。 今日は昨日(2025/2/5)発表された、 Open Deep Researchについて、そのアーキテクチャや実装について解説したします！ 1. はじめに OpenAIが開発した「GPT Deep Research」が世間をにぎわせていますが、「●● Deep Research」は既出のものをふくめこれから各社がしのぎを削っていくのではないでしょうか。 「Open Deep Research」はHuggingFace 社が開発したオープンソースツールで、その名の通り従来人間がデスクトップで行っていた Web 情報調査の作業を自動化するツールです。 今日は、本ツールの設計思想、 Deep Research ってどうやってるの？　っていうところをディープに解説してみたいとおもいます。 あくまでも仕組みの説明にフォーカスしており、使い方説明ではないのでご了承くだすぁい。 1.1. はじめに 近年、情報技術の進歩により扱える情報量は飛躍的に増加しております。デスクトップで Web 情報調

GPUマシン自作

2025年版 NVIDIA GPU まとめ

最新のGPU一覧をまとめました 関連エントリー：https://blog.qualiteg.com/nvidia-gpu-capability-level/ SM_100 (Blackwell) データセンター/プロ向け 製品名 CUDAコア数 VRAM 発売年 PCIeバージョン 冷却方式 消費電力（最大/TDP） NVIDIA B100 16,896基 最大192GB 2024年発表 PCIe Gen6: 256GB/s パッシブ - NVIDIA B200 33,792基 (16,896 × 2) 最大192GB 2024年発表 PCIe Gen6: 256GB/s パッシブ - NVIDIA GB200

AI-Business

[AI新規事業創出]Qualitegセレクション：ビジネスモデル設計②ビジネスモデルキャンバス

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。 新規事業の企画検討において、アイデアを具体的なビジネスプランに落とし込むのは容易ではありません。私も長年コンサルティングをさせていただいておりますが、直観力でいいなと思われたアイディアを信じたいとおっしゃるクライアントも多いのですが、アイディアの良し悪しを考えるうえで「商売になるか」という観点は非常に重要ですよね。 ざっとビジネスに関する全体像を把握するのに役立つのがこのビジネスモデルキャンバスです。 ビジネスモデルキャンバス（Business Model Canvas）は、事業の全体像を1枚のシートで可視化できる強力なツールとして世界中で活用されています。 今回は、このビジネスモデルキャンバスの基本から活用方法まで、詳しく解説していきます。 ビジネス

日々の開発Tips

Node.jsのUUID生成を極める：crypto.randomUUID() vs 通常のUUID

こんにちは！ 今回は、Webフロントで活躍するNode.jsでのUUID生成について、特にcrypto.randomUUID()と従来の方法の違いを解説します！ はじめに UUIDは一意の識別子として広く使用されていますが、Node.jsには複数の生成方法があります。 crypto.randomUUID()の使用方法 import { randomUUID } from 'crypto'; const id = randomUUID(); console.log(id); // 例：'123e4567-e89b-12d3-a456-426614174000' または、以下のように書いてもいいですね import crypto from 'crypto'; const id= crypto.randomUUID(); 主な特徴 * 暗号学的に安全な乱数生成器を使用 * 追加のパッケージインストールが不要 * パフォーマンスが最適化済み * UUID v4形式を生成 従来のUUID生成方法 import

AI数理

ディープラーニングにおけるEMA（Exponential Moving Average）

こんにちは！ 本日は、画像生成、動画生成モデルなどで重要な役割を果たしている EMA ※について解説してみたいとおもいます！ 当社のAIアバター動画生成サービス「MotionVox™」でも役立っています！ といっても、画像生成のための専用技術というわけではなく、学習と推論（生成系も含む）というディープラーニングの運用の中で昨今かなり重宝されるテクニックとなっておりますので、基礎から実装までみていきたいとおもいます。 ※EMAの読み方は私はエマと呼んでますが、イーエムエーって言ってる人もいます。どっちでもいいでしょう。 EMA の基礎知識 EMA（Exponential Moving Average=指数移動平均）は、ざっくりいえばモデルの重みを平均化する手法です。 実は株価分析などでも使われている古くからある概念なのですが、ディープラーニングでは比較的最近になって「あ、これ結構使えるんじゃね？」と重要性が認識されるようになりました。 （”EMA”に限らず、理論の積み上げではなく「やってみたら、使えんじゃん」っていうのがかなり多いのがディープラーニング界隈のもはや常識でし

News

TOKYO DIGICONX 「MotionVox™」出展レポート

こんにちは！ 2025年1月9日～11日に東京ビッグサイトにて開催された TOKYO DIGICONX に出展してまいりました。 開催中3日間の様子を簡単にレポートいたします！ TOKYO DIGICONX TOKYO DIGICONX は東京ビッグサイト南３・４ホールにて開催で、正式名称は『TOKYO XR・メタバース＆コンテンツ ビジネスワールド』ということで、xR・メタバース・コンテンツ・AIと先端テクノロジーが集まる展示会です 「Motion Vox™」のお披露目を行いました 当社からは、新サービス「Motion Vox™」を中心とした展示をさせていただきました MotionVox™は動画内の顔と声を簡単にAIアバター動画に変換できるAIアバター動画生成サービスです。 自分で撮影した動画をアップロードし、変換したい顔と声を選ぶだけの3ステップで完了。特別な機材は不要で、自然な表情とリップシンクを実現。 社内研修やYouTube配信、ドキュメンタリー制作など、幅広い用途で活用できます。 当社ブースの様子 「MotionVox™」の初出展とい

News

【本日開催】TOKYO DIGICONX で「MotionVox」を出展～リアルを纏う、AIアバター～

こんにちは！ 本日(2025年1月9日)より東京ビックサイトにて開催されている「TOKYO DIGICONX」に、フォトリアリスティック(Photorealistic Avater)な次世代アバター生成AI「MotionVox」を出展しています！ XR・メタバース・AIと先端テクノロジーが集まる本展示会で、ビジネス向け次世代AI動画生成ツールとしてMotionVox™をご紹介させていただきます。 MotionVox™とは MotionVox™は、あなたの表情や発話を魅力的なアバターが完全再現する動画生成AIです。まるで本物の人間がそこにいるかのような自然な表情と圧倒的な存在感で、新しい表現の可能性を切り開きます。 主な特徴 * フォトリアリスティックな高品質アバター * 高再現度の表情同期 * プロフェッショナルなリップシンク * カスタマイズ可能なボイスチェンジ機能 * 簡単な操作性 * プライバシーの完全保護 多様な用途に対応 MotionVoxは、以下のようなさまざまなビジネスシーンで活用いただけます！ * 動画配信やVTuber活動 * S

AI-Business

[AI新規事業創出]Qualitegセレクション：ビジネスモデル設計①ビジネスモデル図

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。 「新規事業のビジネスモデル図の描き方 〜実践で活かせる具体的なコツ〜」 新規事業開発のコンサルティングをさせていただいておりますとクライアント企業様の現場で、「ビジネスモデル図をどう描けばいいの？」という質問をよく頂きます。 実は私も最初は悩んだのですが、数々の失敗と成功を経て、効果的なビジネスモデル図の描き方が分かってきました。今回は、その実践的なコツをお伝えしていきます。 なぜビジネスモデル図が重要なのか ビジネスモデル図は、単なる図解ではありません。これは、自分のビジネスアイデアを「検証可能な形」に落とし込むための重要なツールです。 上申の際にステークホルダーの説明をするのに使うこともできます。また、アイディア創出後のマネタイズ検討の場合も情報

AI数理

DPO(直接選好最適化）の基礎から画像・動画AIへの応用まで

こんにちは Qualiteg研究部です！ 本日は、2023年、AnthropicのRafael Rafailov、Archit Sharmaらの研究チームによって提案された「直接選好最適化（Direct Preference Optimization: DPO）」について、基礎から応用までを解説します。 この手法は、論文「Direct Preference Optimization: Your Language Model is Secretly a Reward Model」で発表され、AIの学習手法に大きな影響を与えています。この論文では、言語モデル（LM）の動作を人間の好みに調整する新しい手法「Direct Preference Optimization（DPO）」を提案していますが、最近では、VLMなど言語モデルに限らず応用が広がっています。 しかも、理論は比較的シンプルなので、じわりと人気があがっていますね！ DPOが生まれた背景 言語モデルは大規模データで事前学習されるため、幅広い知識と能力を持つが、その動作を制御するのは困難でした。 そのため、従来の言語モデ

AI-Business

[AI新規事業創出]Qualitegが考える、ビジネスモデル設計でやるべきこと、やってはいけないこと

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。 ビジネスモデル設計は、起業家や経営者にとって最も重要な戦略的意思決定の一つです。成功する企業と失敗する企業を分けるのは、このビジネスモデルの巧拙にほかなりません。 本日は、ビジネスモデル設計における重要なポイントと、避けるべき落とし穴について詳しく解説します。 やるべきこと 1. 顧客価値の徹底的な理解 最も重要なのは、顧客の真のニーズを深く理解することです。単なる表面的な市場調査ではなく、顧客の潜在的な課題、悩み、願望を徹底的に分析する必要があります。以下のアプローチが効果的です。 * ペルソナ分析の実施(どのターゲットセグメントの誰を狙うのか) * 顧客へのインタビューと深い対話(できれば1on1で90分) * 顧客の行動観察や課題解決の

News

産業交流展2024 に出展いたしました

こんにちは！ 2024年11月21日～11月23日の3日間 東京ビックサイトにて開催された産業交流展２０２４（リアル展）において、当社のプロダクト・サービスの展示を行いました。 多くの方々に当社ブースへお立ち寄りいただき、誠にありがとうございました！ (産業交流展2024のオンライン展示会は 2024年11月29日まで開催中です！) 本ブログでは、展示会当日の様子を簡単にレポートさせていただきます。 展示会の様子 当社ブースは「東京ビジネスフロンティア」パビリオン内に設けていただきました。 当社からは３名体制で、 エンタープライズLLMソリューション「Bestllam 」やLLMセキュリティソリューション「 LLM-Audit」 、経産省認定講座「AI・DX研修」についてデモンストレーションおよびご説明・ご案内をさせていただきました。 さらに、ステラリンク社さまのご厚意により、このかわいい移動式サイネージ「AdRobot」に、当社ブースの宣伝もしていただきました！ 特典カード さて、ブースにお立ち寄りの際にお渡しした、Bestllam特典カードの招待コー

日々の開発Tips

「Windowsターミナル」を Windows Server 2022 Datacenter エディションに手軽にインストールする方法

こんにちは！ 本稿はWindows Server 2022 Datacenterエディションに「Windowsターミナル」をインストールする方法のメモです。 ステップバイステップでやるのは少し手間だったので、Powershellにペタっとするだけで自動的にインストールできるよう手順をスクリプト化しました。 管理者権限で開いた Powershell に以下、スクリプトをペタっとすると、後は勝手に「Windowsターミナル」がインストールされます。 （ただしスクリプトの実行結果の保証も責任も負いかねます） なにが手間か 何が手間かというと、Windows Server 2022 では、StoreもApp Installer（winget）もデフォルトではインストールされていないため「Windowsターミナル」をマニュアルでインストールしなければなりませんでした。 そこでペタっとするだけのスクリプト化 管理者権限で開いたPowershellに以下のスクリプトをペタっとすると「Windowsターミナル」が無事インストールされます。 パッケージのダウンロード先には　[ユーザ

日々の開発Tips

Windows Terminal強制使用を制御する～ForceV2設定ガイド～

こんにちは！ 最近のWindows 10/11では、従来のコマンドプロンプトの代わりにWindows Terminalが自動的に起動するようになっています。この動作を制御するのが「ForceV2」という設定です。この記事では、ForceV2の詳細と設定方法について解説します。 【ご注意】本稿ではレジストリ操作について扱っています。レジストリの変更は慎重に行う必要があり、誤った操作によってシステムに影響が出る可能性もございます。操作の前にはシステムのバックアップをお取りいただくことをお勧めいたします。 記事の内容は一般的な情報提供を目的としており、お客様の環境によっては動作が異なる場合もございます。操作の実行はご自身の判断と責任のもとでお願いいたします。 ForceV2とは？ ForceV2は、Windowsのレジストリで管理される設定値で、コマンドプロンプトの動作を制御することができます * 値が1（デフォルト）：新しいWindows Terminalが強制的に使用されます * 値が0：従来のコマンドプロンプト（conhost.exe）が使用されます この設定

News

産業交流展2024に出展いたします

平素は当社事業に格別のご高配を賜り、厚く御礼申し上げます。 以前にもご案内させていただきましたが、この度、株式会社Qualitegは、多くの優れた企業が一堂に会する国内最大級の総合展示会「産業交流展2024」に出展する運びとなりました。 本展示会では、当社の最新のサービス・ソリューションを展示させていただきます。ご来場の皆様に直接ご説明させていただく貴重な機会として、ぜひブースまでお立ち寄りくださいませ 展示会概要 * 名称: 産業交流展2024 * 会期: 2024年11月20日(水)～22日(金) * 会場: 東京ビッグサイト １・２ホール、アトリウム * 西1ホール　東京ビジネスフロンティアゾーン　ビ-15 * 入場料: 無料（事前登録制） 開催時間 * 11月20日(水) 10:00～17:00 * 11月21日(木) 10:00～17:00 * 11月22日(金) 10:00～16:00

Qualitegオリジナル：サービス設計のまとめ方

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。 はじめに スタートアップにおいて、サービス設計は成功を左右する重要な要素です。私たちは新規事業開発コンサルタントとして、長年多くの新規事業の立ち上げに関わってきました。 そして今、自社で新規事業の立ち上げを実施中です。本記事では、効果的なサービス設計のアプローチについて、実践的な観点からお伝えしたいと思います。 1. ユーザー中心の問題定義 サービス設計の第一歩は、解決すべき問題を明確に定義することです。しかし、ここでよくある失敗は、自社の技術やアイデアから出発してしまうことです。代わりに、以下のステップを踏むことをお勧めします： * ターゲットユーザーへの徹底的なインタビュー * 既存の解決策の分析と不足点の特定 * ユーザーの行動パターン

日々の開発Tips

Windows 11の右クリックメニューを従来のWindows 10スタイルに戻す方法

Windows 11では右クリックメニューが簡略化され、「送る」などの便利なメニューが非表示になっています。今回は、これを従来のWindows 10スタイルに戻す方法をご紹介します。 【ご注意】レジストリの変更は慎重に行う必要があり、誤った操作によってシステムに影響が出る可能性もございます。操作の前にはシステムのバックアップをお取りいただくことをお勧めいたします。 記事の内容は一般的な情報提供を目的としており、お客様の環境によっては動作が異なる場合もございます。操作の実行はご自身の判断と責任のもとでお願いいたします。 問題点 Windows 11の右クリックメニューには従来から以下のような変更になり、使い慣れていた身からすると少々不便なことがあります * 「送る」メニューが非表示 * よく使う機能が「その他のオプションを表示」に隠れている * Shiftキーを押しながらの右クリックが必要 解決方法 PowerShellを使って設定を変更できます 1. PowerShellスクリプトの準備 以下のコードを「restore_right_click_men

NumPy/PyTorch

PyTorchモデルの最適化～TorchScriptの仕組みと活用法～

こんにちは！ 本日は PyTorch で開発したAIアプリケーションの本番化に欠かせない、「最適化」についての内容です。具体的には「 TorchScript」 を使用した各種学習モデルの最適化についてみていきたいとおもいます。 TorchScriptの基礎 1 TorchScriptとは TorchScriptは、PyTorchモデルを最適化された中間表現（IR）に変換する技術です。 、、といってもちょっと難しく聞こえるかもしれません。 平易な言葉で言い換えますと、 要するに、PyTorchで作った機械学習モデルを高速かつ多種多様な環境で動作させることをするための技術です。 例えば、、 ・Pythonがインストールされていない環境でも動かせるようにする ・スマホはじめ、各種組み込み機器でも使えるようにする ・動かすときの速度を段違いに上げる ・複数の処理を同時に効率よく実行する などを目論むときは TorchScript がおすすめです。 つまり、TorchScriptは「本番サービス」で使うときにすごく役立ちます。 2 Torc

NumPy/PyTorch

【極めればこのテンソル操作 】インプレース操作でメモリ効率化！

こんにちは！今日は PyTorchのインプレース操作に関する内容です！ ディープラーニングの学習モデルを作ってると、メモリ管理が大きな課題になります。課題の大部分はGPUメモリとお考えの方も多いのではないでしょうか。 そんなときに助けてくれるのが、PyTorchのインプレース操作です！ この記事では、インプレース操作の使い方をいろんな角度から見ていきたいとおもいます。 インプレース操作って何？ 基本的な考え方 インプレース操作とは、既存のメモリ領域を直接書き換える操作のことです。PyTorchでは、演算子の後ろにアンダースコア（_）をつけることでインプレース操作を実行できます。 つまり、普通の操作だと新しいメモリを確保する必要がありますが、インプレース操作なら既存のメモリを直接書き換えることが可能です。 それでは、実際に見てみましょう！ import torch # 普通の操作 x = torch.tensor([1, 2, 3]) y = x + 5 # 新しいメモリが必要 # インプレース操作ならこう！ x = torch.tensor([1, 2, 3

IT & AIテクノロジー

画像生成技術の進化　～GANからディフフュージョンモデルまで～

こんにちは！株式会社Qualiteg研究部です！ 今日は画像生成技術について投稿いたします。 みなさまご存じの通り人工知能による画像生成技術は、過去10年間で急速な進化を遂げました。 今年は2024年。ちょうど2014年に「GAN」がでて10年です。 テキスト系生成AIの勢いがすごい昨今ですが、画像生成AI、超解像AIからの動画生成AIなどコンピュータビジョンかいわいも大きく進化を遂げていますね。 本記事では、主にGenerative Adversarial Networks (GAN)とディフフュージョンモデルに焦点を当て、画像生成技術の歴史的な発展を振り返ります。特に、これらの技術が画像生成と超解像の分野でどのように応用されてきたかを詳しく見ていこうとおもいます。 ブログ本編の前に！　ダイジェスト動画あります！ 本ブログのダイジェストを以下の動画で語っておりますので、よろしかったらこちらもご覧くださいませ！ GANとディフュージョンモデル GANとは GAN（Generative Adversarial Network）は、2014年にIan Goodf

ChatStream Guide

chatstream.net のクエリパラメータ仕様

chatstream.net は(株)Qualiteg が運用するサービスで、世界中で公開されている最新のLLMをいちはやく体験することができます。 特定の LLM を開いてじっくりチャットをしたり、複数のLLM を開いて協調的につかってみたり、LLM同士で出力を比較させたり、LLMのもつポテンシャルを感じていただけるようになっています。 たとえば、PCブラウザでURLを開くと、4つのLLMを同時に開いて、同時にチャットを行うことができます。このようにお好みに応じてチャットを制御することができるのがURLパラメータです。 https://chatstream.net/?ws_name=chat_app&mult=1&ontp=1&isync=1&model_id=llama_3_elyza_jp_8b&model_id=openai_gpt_3_5_

2024年10月度 最新API価格情報

こんにちは、テクノロジー愛好家の皆さん！10月になり、秋の空気が徐々に冷たくなってきましたね。しかし、テクノロジーの世界では熱いニュースが続いています。今回は、2024年10月度の最新API価格情報について詳しくご紹介します。 価格比較と選択のポイント APIプロバイダーを選ぶ際には、単純な価格だけでなく、以下のポイントも考慮することが重要です。 * 使用頻度とスケーラビリティ: 予想されるリクエスト数やデータ量に基づいて、最適なプランを選びましょう。 * サポートとドキュメント: プロバイダーのサポート体制や技術ドキュメントの充実度も重要です。 * セキュリティ: データの安全性を確保するために、セキュリティ機能が充実しているか確認しましょう。 まとめ 2024年10月度の最新API価格情報をお届けしました。OpenAI、Anthropic、GeminiそれぞれのAPIは、利用目的や規模に応じて最適な選択肢が異なります。最新の価格情報を基に、自分のプロジェクトに最適なAPIを選び、効率的な開発を進めましょう。 これからも最新のテクノロジー情報をお届けしていき

NumPy/PyTorch

ディープラーニングモデルの安全な並列推論とパフォーマンス最適化

こんにちは！ 今日は、よく聞かれる質問の1つである「単一のモデルインスタンスで安全に並列推論を行えるか？」に関する内容です！ evalモードでの並列推論の安全性 PyTorchモデルがmodel.eval()を使用してevalモードに設定されている場合、一般的に並列推論に対して安全になります。 （ここでいう「並列」はマルチスレッドによる処理ととらえてください。バッチ推論については後述します。） その理由は、 1. パラメータの不変性 evalモードでは、順伝播（forward pass）中にモデルのパラメータが更新されません。 2. 学習特有レイヤーの非活性化 BatchNormなどのレイヤーは、バッチ統計の計算ではなく、実行時統計（running statistics）を使用するモードに切り替わります。 3. 入力データの独立性 各スレッドやプロセスは独自の入力データで動作し、それぞれ別のメモリ領域に存在します。 以下は、evalモードでの安全な並列推論の基本的な例です： import torch import th

AI-Business

Qualitegセレクション：アイディア深堀編④ストーリーボードの活用術

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。 お絵描きが楽しい★ストーリーボード ユーザーインタビューやアイデア発想法などで得られたアイデア。素晴らしい可能性を秘めているものの、形にするにはまだ詳細が足りない、具体的にイメージしづらい、と感じることありませんか？ そんな時に役立つのがストーリーボードです。 Qualitegセレクション、アイディア深堀編④では、ストーリーボードを活用してアイデアを具体化し、サービスやプロダクトの質を高める方法をご紹介します。 普段のコンサルティングご支援でもストーリーボードやりましょう！と申し上げると「自分は絵を描くのが苦手だから」とおっしゃる方もいらっしゃいますが、全く問題ございません！ 棒人間的な絵の方が余計な情報が入ってこないので、ユーザー体験がリアルに表現

NumPy/PyTorch

【極めればこのテンソル操作 】NumPy配列の縦マージ方法：5つのアプローチ

こんにちは！ 今日は、NumPyにおける配列の縦マージについてご説明いたします！ ご存じの通りNumPyは、Pythonで科学的計算を行うための強力なライブラリです。 複数のNumPy配列を縦にマージして大きな配列を作成する方法について、5つの異なるアプローチを詳しく見ていきましょう。 具体的には、(N,128)と(M,128)の形状を持つ複数のNumPy配列が格納されたPythonのリストから、(N+M,128)の形状を持つ単一のNumPy配列を作成する方法を説明します。 1. np.vstack() を使用する方法 np.vstack() 関数は、垂直方向（行方向）に配列をスタックするための関数です。 import numpy as np list_of_arrays = [ np.random.rand(3, 128), np.random.rand(2, 128) ] merged_array = np.vstack(list_