ONNX RuntimeのCUDAエラー「libcublasLt.so.11: cannot open shared object file」を解決する

ONNX RuntimeのCUDAエラー「libcublasLt.so.11: cannot open shared object file」を解決する
Photo by Evan Lee / Unsplash

こんにちは!
ONNX Runtimeを使用していると、以下のようなエラーに遭遇することがあります

[E:onnxruntime:Default, provider_bridge_ort.cc:1744 TryGetProviderInfo_CUDA] 
Failed to load library libonnxruntime_providers_cuda.so with error: 
libcublasLt.so.11: cannot open shared object file: No such file or directory

[W:onnxruntime:Default, onnxruntime_pybind_state.cc:870 CreateExecutionProviderInstance] 
Failed to create CUDAExecutionProvider.

このエラーは、GPUアクセラレーションが使えずCPUフォールバックで動作している状態を示しています。本記事では、この問題の原因調査から解決までのプロセスを詳しく解説します。

問題の症状

エラーが発生する状況

  • ONNX Runtimeでモデルを読み込む際に毎回警告が表示される
  • 画像処理や推論処理で処理時間が異常に長い(例:数秒以上)
  • onnxruntime-gpuをインストールしているのにGPUが使われない
  • プログラムを実行するたびに同じ警告が繰り返し表示される

パフォーマンスへの影響

# CPU実行時(エラー発生時)
Model A warmup time: 5.071s
Model B warmup time: 0.029s

# GPU実行時(正常時)の期待値
Model A warmup time: 0.5-1.0s  # 5-10倍高速化
Model B warmup time: 0.005-0.01s  # 3-5倍高速化

原因調査のプロセス

ステップ1: 環境の現状確認

まずは、ONNX RuntimeがGPUを認識できているか確認しましょう

# インストール済みパッケージの確認
pip list | grep onnx

出力例

onnx                     1.16.1
onnxruntime-gpu          1.18.0
# GPUの認識状況を確認
python -c "import onnxruntime; print(onnxruntime.get_device()); print(onnxruntime.get_available_providers())"

出力例

GPU
['TensorrtExecutionProvider', 'CUDAExecutionProvider',  'CPUExecutionProvider']

ステップ2: 問題の分析

この時点で興味深い状況が判明しました

  • onnxruntime.get_device()GPU(認識されている)
  • CUDAExecutionProviderが利用可能リストに含まれている
  • しかし実行時にはエラーが発生してCPUフォールバック

これは、ONNX Runtime自体はGPUを認識しているが、実行時に必要なCUDAライブラリが不足している状況を示しています。

ステップ3: バージョン不整合の特定

# システムのCUDAバージョン確認
nvcc --version
ls -la /usr/local/ | grep cuda

調査の結果

  • システムにはCUDA 12がインストール済み
  • ONNX RuntimeがCUDA 11のライブラリ(libcublasLt.so.11)を探している

ということでバージョン不整合が原因と特定できましたー

解決方法の検討

方法1: シンボリックリンク(リスクの評価)

当初、シンボリックリンクで解決することを検討しました

# CUDA 12のライブラリをCUDA 11として認識させる
sudo ln -s /lib/x86_64-linux-gnu/libcublasLt.so.12 /lib/x86_64-linux-gnu/libcublasLt.so.11

ただし、こんな付け焼刃でいいのか、リスクを考えてみます

  • メリット:手軽で追加インストール不要
  • リスク:ABI互換性の問題、他のCUDA 11依存アプリへの影響

そこで、しらべてみると、
onnxruntime-gpu 1.18.0は既にCUDA 12対応版であることが判明しました。
つまり、シンボリックリンクは同じCUDA 12系統内での対応となるため、リスクは小さいと判断できました

方法2: 完全な解決策の発見

ただし、このシンボリックリンクだけでは解決しなかったため、さらに調査を進めた結果、cuDNNの不足が判明しました。

ということで、最終的な解決方法です

★最終的な解決方法

ステップ1: cuDNNのインストール

conda install -c conda-forge cudnn=8.9.7.29 -y

このステップが最も重要でcuDNNがないとCUDAExecutionProviderが初期化できません。

ステップ2: シンボリックリンクの作成

# libcublasLt.so.11のシンボリックリンク作成
sudo ln -sf /usr/local/cuda-12/lib64/libcublasLt.so.12 \
            /usr/lib/x86_64-linux-gnu/libcublasLt.so.11

# libcublas.so.11のシンボリックリンク作成  
sudo ln -sf /usr/local/cuda-12/lib64/libcublas.so.12 \
            /usr/lib/x86_64-linux-gnu/libcublas.so.11

# ライブラリキャッシュの更新
sudo ldconfig

ステップ3: ONNX Runtimeの再インストール

# 既存のパッケージをアンインストール
pip uninstall onnxruntime onnxruntime-gpu -y

# GPU版をインストール
pip install onnxruntime-gpu==1.22.0

再インストール時に最新版がインストールされる可能性があるため、バージョン固定が推奨です

なぜシンボリックリンクだけでは不十分だったか

初回の試みでシンボリックリンクだけでは解決しなかった理由

  1. libcublasLt.so.11 → シンボリックリンクで解決した
  2. libcudnn.so.8不足していた
  3. その他のCUDA関連ライブラリ → 不完全

ということで、cuDNNのインストールが必須だったことが判明しました。

動作確認

GPUが使用されているか確認

import onnxruntime as ort

# テスト用のセッション作成
session = ort.InferenceSession(
    "your_model.onnx",
    providers=['CUDAExecutionProvider', 'CPUExecutionProvider']
)

# 実際に使用されているプロバイダーを確認
print("Active providers:", session.get_providers())
# 成功時の出力: ['CUDAExecutionProvider', 'CPUExecutionProvider']
# 失敗時の出力: ['CPUExecutionProvider']

パフォーマンステスト

import time
import onnxruntime as ort
import numpy as np

# モデル読み込み
session = ort.InferenceSession("model.onnx")

# ダミー入力データ
dummy_input = np.random.randn(1, 3, 224, 224).astype(np.float32)

# ウォームアップ
for _ in range(5):
    session.run(None, {"input": dummy_input})

# 実測
start = time.time()
for _ in range(100):
    session.run(None, {"input": dummy_input})
print(f"Average inference time: {(time.time() - start) / 100:.4f}s")

トラブルシューティング

デバッグ用チェックリスト

# 1. ONNX Runtimeのバージョン確認
python -c "import onnxruntime; print(onnxruntime.__version__)"

# 2. GPUの認識確認
python -c "import onnxruntime; print(onnxruntime.get_device())"

# 3. 利用可能なプロバイダー確認
python -c "import onnxruntime; print(onnxruntime.get_available_providers())"

# 4. CUDAのインストール確認
nvcc --version
ls -la /usr/local/ | grep cuda

# 5. 必要なライブラリの存在確認
ls -la /usr/lib/x86_64-linux-gnu/ | grep -E "libcublas|libcudnn"

# 6. 依存関係の確認
ldd $(python -c "import onnxruntime; print(onnxruntime.__file__)") | grep "not found"

完全な環境構築手順

requirements.txt

onnxruntime-gpu==1.22.0

setup.sh

#!/bin/bash

echo "=== ONNX Runtime GPU Setup ==="

# 0. 現状確認
echo "Current environment check:"
python -c "import onnxruntime; print('Version:', onnxruntime.__version__); print('Device:', onnxruntime.get_device())" 2>/dev/null || echo "ONNX Runtime not installed"

# 1. cuDNN のインストール
echo "Installing cuDNN..."
conda install -c conda-forge cudnn=8.9.7.29 -y

# 2. シンボリックリンクの作成
echo "Creating symbolic links..."
sudo ln -sf /usr/local/cuda-12/lib64/libcublasLt.so.12 \
            /usr/lib/x86_64-linux-gnu/libcublasLt.so.11
sudo ln -sf /usr/local/cuda-12/lib64/libcublas.so.12 \
            /usr/lib/x86_64-linux-gnu/libcublas.so.11

# 3. ライブラリキャッシュの更新
echo "Updating library cache..."
sudo ldconfig

# 4. ONNX Runtime のインストール
echo "Installing ONNX Runtime GPU..."
pip uninstall onnxruntime onnxruntime-gpu -y
pip install -r requirements.txt

# 5. 動作確認
echo "Verification:"
python -c "
import onnxruntime as ort
print('ONNX Runtime version:', ort.__version__)
print('Device:', ort.get_device())
print('Available providers:', ort.get_available_providers())
"

echo "Setup complete!"

まとめ

以下のような手順で解決にいたりました

  1. 初期診断:GPUは認識されているが実行時にエラー
  2. 原因特定:CUDA 11/12のバージョン不整合とcuDNNの不足
  3. 解決策:cuDNNインストール + シンボリックリンク + 再インストール

重要なのは、シンボリックリンクだけでは不十分で、cuDNNのインストールが必須だったという点ですね。この3ステップを正しい順序で実行することで、GPUアクセラレーションを有効化し、推論処理を2〜10倍高速化できます。
とくにCPUフォールバックを見逃すと、せっかくのGPUパワーを活かせないので、この警告がでたら、しっかり対応することが必要そうです

Read more

発話音声からリアルなリップシンクを生成する技術 第5回(後編):Transformerの実装と実践的な技術選択

発話音声からリアルなリップシンクを生成する技術 第5回(後編):Transformerの実装と実践的な技術選択

なぜGPTで成功したTransformerが、リップシンクでは簡単に使えないのか?データ量・計算量・過学習という3つの課題を深掘りし、LSTMとTransformerの実践的な使い分け方を解説。さらに転移学習という第三の選択肢まで、CEATEC 2025で見せた「アバター」の舞台裏を、クオ先生とマナブ君の対話でわかりやすく紐解きます。

By Qualiteg プロダクト開発部
(株)Qualiteg、CEATEC 2025 出展レポート

(株)Qualiteg、CEATEC 2025 出展レポート

こんにちは! 2025年10月14日から17日までの4日間、幕張メッセで開催されたアジア最大級の総合展示会「CEATEC 2025」(主催者発表、総来場者数98,884名)に、株式会社Qualitegとして出展してまいりました! プレスリリース 株式会社Qualiteg、CEATEC 2025に出展 ― AIアバター動画生成サービス「MotionVox®」最新版を実体験株式会社Qualitegのプレスリリース(2025年10月10日 08時50分)株式会社Qualiteg、CEATEC 2025に出展 ― AIアバター動画生成サービス「MotionVox®」最新版を実体験PR TIMES株式会社Qualiteg CEATEC 2025 出展概要 当社は幕張メッセのホール6にあるネクストジェネレーションパークというエリアの 6H207 にブースを構えました。 「Innovation for All」というCEATECのテーマにあわせ、今回は、 AIアバター動画生成サービスMotionVoxを中心に当社の革新的なAIソリューションを展示させていただきました。 展示内容紹介に

By Qualiteg ビジネス開発本部 | マーケティング部, Qualiteg ニュース
日本語対応 LLMランキング2025 ~ベンチマーク分析レポート~

日本語対応 LLMランキング2025 ~ベンチマーク分析レポート~

はじめに 本レポートは、Nejumi Leaderboard 4のベンチマークデータ(2025/10/11版)に基づいて、日本語対応LLMの性能を総合的に分析したものです。 Nejumi Leaderboard 4は、日本語タスクにおけるLLMの性能を多角的に評価する信頼性の高いベンチマークとして知られています。 本分析では、総合スコアとコーディングスコアの2つの観点から、商用APIモデルとオープンモデルの両方を対象に、それぞれの特徴や傾向を詳しく見ていきます。 オープンソースモデルについて Weightがオープンなモデルは場合によっては「オープンソースモデル」、「OSSモデル」と呼ばれますが、モデルによっては「オープンソース」と呼ぶには不十分な場合があるため本稿では、「オープンソースモデル」ではなく「オープンモデル」と表現しています。 ベンチマーク分析について 本レポートは、LLM選択の参考情報として、ベンチマークデータから読み取れる傾向や特徴を提示するものです。最終的なモデル選択においては、これらの情報を踏まえつつ、実際の使用環境での検証を行うことをおすすめいたし

By Qualiteg コンサルティング, Qualiteg プロダクト開発部
Pythonの落とし穴:__len__メソッドを実装したらオブジェクトの真偽値判定が変わってしまった話

Pythonの落とし穴:__len__メソッドを実装したらオブジェクトの真偽値判定が変わってしまった話

こんにちは! Pythonでカスタムクラスを作成していて、 「オブジェクトは存在するのにif文でFalseと判定される」 という不可解な現象に遭遇したことはありませんか? この記事では、__len__メソッドを実装することで生じる、予期しない真偽値判定の挙動について解説いたします! 実際に遭遇したバグ ユーザーの投稿を管理するクラスを実装していたときのことです class PostManager: """ブログ投稿を管理するクラス""" def __init__(self, user_id): self.user_id = user_id self._posts = [] self._cache = {} def __len__(self): """投稿数を返す""" return len(self._posts) def add_post(

By Qualiteg プロダクト開発部