(株)Qualiteg - Qualiteg Blog (Page 3)

日々の開発Tips

Node.jsで大容量ファイルを扱う：AIモデルのような大きなデータ保存はストリーム処理使いましょう

こんにちは！今日はAIシステムのフロントサーバーとしてもよく使用するNode.jsについてのお話です。 AIモデルの普及に伴い、大容量のデータファイルを扱う機会が急増しています。LLMなどのモデルファイルやトレーニングデータセットは数GB、場合によっては数十、数百GBにも達することがあります。一方、Node.jsはWebアプリケーションのフロントサーバーとして広く採用されており、データマネジメントやPythonで書かれたAIバックエンドとの橋渡し役としてもかなりお役立ちな存在です。本記事では、Node.js v20LTSで5GB程度のファイルを処理しようとして遭遇した問題と、その解決方法について解説します。 Node.jsのバッファサイズ制限の変遷 Node.jsのバッファサイズ制限は、バージョンによって大きく変化してきました Node.jsバージョンサポート終了日バッファサイズ上限備考 Node.js 0.12.x 2016年12月31日 ~1GB 初期のバッファサイズ制限（smalloc.kMaxLength使用） Node.js 4.

Blog

AGI時代に向けたプログラマーの未来：役割変化とキャリア戦略

はじめに私がはじめてコードを書いたのは1989年です。当時NECのPC88というパソコンを中古でかってもらい N-88 Basic というBASIC言語のコードをみようみまねで書いて動かしたあの日から何年経つのでしょうか。当時、電波新聞社のマイコンBASICマガジンという雑誌があり、ベーマガにはいろんなパソコン向けのプログラムコードが掲載されていました。そんなわけでもう35年以上趣味や仕事でプログラミングに従事していますが、開発環境、情報流通の仕組みには革命といっていいほどの変化、進化がおこりました。しかしながら、そんな中でも、あくまでコードを書くのは「私」という生身の人間でした。そうしたある種の古き良き時代は、いよいよ本格的に終わりを告げようとしています。 2023年ごろからのLLM技術の飛躍的進歩により、プログラミング業界は大きな転換期を迎えています。特に、OpenAI o3,o1やClaude 3.5、Gemini2.0などの大規模言語モデル（LLM）の進化や、その先にある将来的な汎用人工知能（AGI）の出現は、プログラマーやAIエンジニアの役割に根

日々の開発Tips

PythonとWSL開発のトラブルシューティング: PyCharmとCondaの環境不一致問題

こんにちは！今回は、WSL上のConda環境をPyCharmから利用する際に発生した「同じ環境なのにパッケージリストが一致しない」という問題に遭遇したため、その原因と対策について書いてみたいとおもいます問題の状況開発の流れは以下のようなものでした 1. WSL環境でConda仮想環境を作成 2. その環境をPyCharmのプロジェクトインタプリタとして設定 3. 開発を進める中で奇妙な現象に気づく具体的には、次のような不一致が発生していました * PyCharmのプロジェクト設定で表示されるpipパッケージのリスト * WSLでConda環境をアクティベートした後にpip listコマンドで表示されるパッケージのリストこれらが一致せず、「WSL側のシェルから直接インストールしたパッケージがPyCharmで認識されない」という問題が生じていました。この手の問題でよくある原因は、PyCharm側がWSL側の更新を得るのに少し時間がかかったり、 Indexing が遅れているなどなのですが、今回はそれが原因ではありませんでした。危険な「静かな

AI数理

Model Context Protocol(MCP)入門：いよいよセマンティックWebの世界へ

こんにちは！きょうは話題のMCPについて解説いたします！はじめに「AIが便利なのはわかるけど、自分のデータにアクセスさせたり、他のアプリと連携させたりするのは難しそう...」このような悩みを持っている方は多いのではないでしょうか。実際、従来のAIには大きな壁がありました。トレーニングデータの範囲でしか回答できない、リアルタイム情報にアクセスできない、外部アプリケーションを操作できないなどの制約です。トレーニングデータの外側にあるデータをうまく検索する技術としてLLM黎明期からRAGとよばれる技術が発展してきました。データ検索だけではなく、あらゆる分野でAIが半ば自動で連携してくれる技術が登場しました。それが「Model Context Protocol（MCP）」です。本記事では、AIと外部ツールの連携を革新的に簡単にするMCPについて、基本から実用まで詳しく解説します。 MCPの本質：AIのための標準インターフェース MCPは、AIモデルと外部ツール・アプリケーションの間の通信を標準化するプロトコルです。これはインターネットの世界でいえば、

IT & AIテクノロジー

GPUサーバーの最適容量計算: キューイング理論と実践的モデル

最大ユーザーサポート数計算ツール同時に1件のみ処理できるGPU変換サーバーの最大ユーザーサポート数を計算します処理時間 (t_p) 分/件 1件の変換処理にかかる時間目標システム利用率 (ρ) 0 〜 1 安定稼働のための目標稼働率（推奨: 0.7〜0.8）ピーク係数 (P_c) 倍最も混雑する時間帯の平均アクセス倍率稼働時間 (H) 時間/日システムが1日に稼働している総時間アクセス確率 (P_a) 0 〜 1 1人のユーザーが1日にシステムを利用する確率 1ユーザーあたりの変換回数 (F) 回/日利用する日の平均変換処理回数計算過程を表示計算結果サポート可能な総ユーザー数: 人計算式: N = (ρ × μ × H) ÷ (P_a

日々の開発Tips

WSL2でDNS解決がうまくいかない問題と解決方法

こんにちは！ Windows Subsystem for Linux (WSL2)は、Windows上でLinux環境を利用できる素晴らしい機能ですが、中にはDNS解決に関する問題が発生することがあります。この記事では、その症状と効果的な解決方法を紹介します。検証環境この記事で紹介する方法は、以下のバージョンで検証しています WSL バージョン: 2.4.13.0 カーネルバージョン: 5.15.167.4-1 WSLg バージョン: 1.0.65 MSRDC バージョン: 1.2.5716 Direct3D バージョン: 1.611.1-81528511 DXCore バージョン: 10.0.26100.1-240331-1435.ge-release Windows バージョン:

NumPy/PyTorch

PyTorch 2.6 のセキュリティ: モデルチェックポイントロードの安全対策

こんにちは！今日は、魅力的なPyTorchチェックポイントが配られているからと言って無邪気に使っちゃうと、超ヤバイよ、というお話になります。みなさまモデルチェックポイントをロードする際のセキュリティリスクについて考えたことはありますでしょうか。実はモデルの重みファイルだとばかり思っていたチェックポイントが、思わぬセキュリティホールになる可能性があります。本記事では、PyTorchのtorch.load関数の安全性と、モデルチェックポイントを適切に扱うための実践的なガイドラインを紹介します。モデルチェックポイントの隠れた危険性 PyTorchのtorch.load関数は非常に便利な一方で、セキュリティ上の重大なリスクを含んでいます。その理由は、 * チェックポイント単なるパラメータだけではないよ！チェックポイントファイルには、モデルの重み（weights）だけでなく、クラスや関数など任意のPythonコードを含めることが可能です。 * 実行可能なコードが入ってるよ！これは、チェックポイントが単なる「データファイル」ではなく、Pytho

AI-Business

[AI新規事業創出]Qualitegオリジナル、アイデア評価、事業アイデア選定方法

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。 AIを活用した事業アイデア評価と選定方法　|　Qualitegオリジナルアプローチ新規事業の立ち上げは、アイデアの創出から始まりますが、その後の評価と選定プロセスこそが成功の鍵を握ります。Qualitegでは、AIを積極的に活用した独自の評価・選定メソッドを開発し、より客観的かつ多角的な視点でビジネスアイデアを検証しています。今回は、私たちの実践的なアプローチをご紹介します。 AIを活用したアイデア評価の基本フレームワーク当社のアイデア評価プロセスは、以下の2段階で構成しております。 1. 多次元評価マトリックスによる定量分析まず、出てきたアイデアについて、ChatGPTなどの大規模言語モデル(LLM)を活用し、以下の8つの評価軸でアイデア

日々の開発Tips

Windows Terminal で「無効な "icon" を持つプロファイルが見つかりました。既定では、そのプロファイルにアイコンはありません。」が出たときの対処法

何度か、WSL にいろんなバージョンのLinux を入れたり消したりしたときに遭遇した現象ですユーザー設定の読み込み中にエラーが発生しました無効な "icon" を持つプロファイルが見つかりました。既定では、そのプロファイルにアイコンはありません。"icon" を設定するときは、値が画像への有効なファイルパスとなっていることをご確認ください。が発生するときの原因と対象法のレポートです原因使われなくなったゾンビ・プロファイルがWindows Terminal (のキャッシュ)に残り続ける対処法このメッセージを解消するには、いったん、プロファイルをリセットする必要がありました。 ※既存プロファイル設定が消える場合があるので留意すること Step1 Windows Terminal を落とす Windows Terminal をいったんすべて落とす Step2 settings.json を消すエクスプローラーで settings.json のあるフォルダに移動しファイルを削除する %LOCALAPPDATA%\Packages\Micros

NumPy/PyTorch

本番運用におけるPyTorch+CUDAサーバーでの「Unknown Error」問題とその対策

こんにちは！Qualitegプロダクト開発部です。今日は、GPUをつかった商用サービスにて悩ましい、テストは全部通るけど、長時間運用をしていると急に起こる「CUDA error: unknown error」についての内容です。これ、出会うと残念な気持ちになりますが、けっこうGPU商用サービス界隈では「あるある」なんです。原因を真面目に探るには CUDAバージョン、PyTorchバージョンの調合具合、実際のアプリケーションコードまですべてソースまで追う必要があるのですが、多くの場合、運用でカバーします。なぜなら仮に１つ原因をみつけて対処できたとしても、CUDAバージョンはしょっちゅうあがりますし、PyTorchもそれに追従して頻繁に更新されます。さらにやっかいなことに、１日、２日、いや1週間くらいは安定的に動作しているようにみえて、数週間後にとつぜんエラーが出るといった具合なので、修正確認の難易度が高いんです。そこで本日は「開発環境や実験環境」ではなく「本番環境」で発生しがちなこのCUDA Unknown Error について問題の原因と実践的な対策につい

LLM-Audit

LLM活用における段階的PIIマスキング

こんにちは、Qualitegプロダクト開発部です！前回の技術解説では、「三沢」が人名なのか地名なのか判断できない日本語の曖昧性から始まり、正規表現からLLM統合まで5段階のPII検出アプローチをご紹介しました。今回は、これらの技術を搭載した LLM-Audit™ PII Protector が実際のLLM活用シーンでどのように動いているのか、実際のプロダクト処理の観点で、もう一歩踏み込んで解説します。ファイルの中に潜む、見えないPII LLM Audit™ PII Protectorをご紹介した際、多くの方から「テキスト入力のPII検出は分かったけど、ファイルをまるごとLLMに投げる場合はどうなるの？」というご質問をいただきました。確かに現在のLLM活用は、単純なテキスト入力から、PowerPoint、Excel、PDF、画像ファイルなど、様々な形式のファイルを直接処理する段階に進化しています。「この提案書を要約して」「このExcelから傾向を分析して」といった使い方が当たり前になってきました。 PowerPointの「スピーカーノート」を見たことがありますか？

GPUマシン自作

2025年 NVIDIA GPU 一発検索ツール(2025/8/5更新)

NVIDIA GPU 一覧検索シリーズすべて SM_100 (Blackwell) SM_90 (Hopper) SM_89 (Ada Lovelace) SM_86/SM_87 (Ampere) SM_75 (Turing) SM_70/SM_72 (Volta) SM_60/SM_61/SM_62 (Pascal) SM_50/SM_52/SM_53 (Maxwell) SM_35/SM_37 (Kepler) SM_20 (Fermi)

News

JID 2025 に出展いたしました

こんにちは！ 2025年2月28日(金)に浜離宮となりにあるベルサール汐留にて開催された JID 2025 by ASCII STARTUP に出展してまいりました。当社からは、AIアバター動画生成ソリューションMotionVox™を中心に出展させていただきました。 JID2025 出展概要記事はこちらです当ブースにお立ち寄りいただいた皆様、ご商談いただいたお客様各位、また開催に尽力いただいたASCIIさま、スポンサーさま誠にありがとうございました！当社はお客様と一対一で丁寧にご説明するスタイルをとっており、当日は最新のフィーチャーに関するご紹介およびデモンストレーションを行わせていただきましたが、混雑時にご対応できなかったお客様も多くいらっしゃり、この点たいへん失礼いたしました。今後改善してまいります！デモンストレーションのご要望や、ご商談につきましてはお気軽に当社までご連絡くださいますようよろしくお願い申し上げます。 MotionVoxで作った各種ご案内動画 MotionVox使い方当日お誘い動画当日の思い出フォトカンファレンスル

AI-Business

[AI新規事業創出]Qualitegオリジナル、受容性評価インタビュー設計方法

Qualiteg blogを訪問してくださった皆様、こんにちは。Micheleです。AIを活用した新規事業やマーケティングを手がけている私には、クライアントからよく寄せられる質問があります。AIを用いた事業展開を検討されている方々が共通して直面するであろう課題に対して、このブログを通じて私なりの解答をご提供したいと思います。受容性評価インタビューは、新しい製品やサービスがターゲット市場にどのように受け入れられるかを評価するための重要な手法です。新規事業開発のコンサルティングをさせていただいておりますと、受容性評価をされない方、自身にとって都合の良い回答だけを抽出される方、ターゲットユーザーではない人にインタビューをして怒ってしまわれる方など、様々なクライアントがいらっしゃいます。特に多いのが、複数人にインタビューしたのに、自身の企画したサービスを良いと言ってくれた方だけを抽出して「全員が欲しいと言っています」と報告されようとする方や、インタビューした対象がが身内（職場の同僚）だったりして、お世辞で良いねというまで、「でも、XXすればいいですよね」みたいな形で問いを続ける方

日々の開発Tips

Windowsで巨大ファイルを含むフォルダをZIP（無圧縮）に格納する方法

こんにちは！複数の大容量のファイルを含むフォルダをバックアップやアーカイブする際、ZIPファイルに格納することがよくあります。しかし、既に圧縮済みのファイル（動画、画像、PDFなど）を再圧縮すると、処理時間がかかる割に圧縮効果が少かったり、圧縮にものすごく時間がかかってしまうことがあります。別に容量を制限したいわけでなく、単に複数のファイルを単にひとまとめにしたいときには「無圧縮ZIP」（ストアモード）が１つの選択肢となります。この記事では、特に巨大ファイル（数GB〜数十GB）を含むフォルダを無圧縮ZIPに格納する方法について解説します。 Windows標準機能の限界 Windows Explorerの標準ZIP機能では、ファイルを右クリックして「送る」→「圧縮（zip形式）フォルダー」を選択できますが、これには2つの問題があります 1. 無圧縮（ストアモード）を選択するオプションがない 2. いちいち圧縮してしまうので大容量ファイルの処理に時間がかかる PowerShellの無圧縮ZIPコマンドと制限 PowerShellにはCompress-Archi

Latest

Node.jsで大容量ファイルを扱う：AIモデルのような大きなデータ保存はストリーム処理使いましょう

AGI時代に向けたプログラマーの未来：役割変化とキャリア戦略

PythonとWSL開発のトラブルシューティング: PyCharmとCondaの環境不一致問題

人気ゲーム「ヒット&ブロー」で学ぶ情報理論

Model Context Protocol(MCP)入門：いよいよセマンティックWebの世界へ

GPUサーバーの最適容量計算: キューイング理論と実践的モデル

WSL2でDNS解決がうまくいかない問題と解決方法

PyTorch 2.6 のセキュリティ: モデルチェックポイントロードの安全対策

[AI新規事業創出]Qualitegオリジナル、アイデア評価、事業アイデア選定方法

Windows Terminal で「無効な "icon" を持つプロファイルが見つかりました。既定では、そのプロファイルにアイコンはありません。」が出たときの対処法

本番運用におけるPyTorch+CUDAサーバーでの「Unknown Error」問題とその対策

LLM活用における段階的PIIマスキング

2025年 NVIDIA GPU 一発検索ツール(2025/8/5更新)

JID 2025 に出展いたしました

[AI新規事業創出]Qualitegオリジナル、受容性評価インタビュー設計方法

Windowsで巨大ファイルを含むフォルダをZIP（無圧縮）に格納する方法