システムとcondaのC++標準ライブラリ(libstdc++)のバージョン違い問題による事象と対処法解説

システムとcondaのC++標準ライブラリ(libstdc++)のバージョン違い問題による事象と対処法解説

こんにちは!

先日、dlibをつかったPythonアプリケーション(conda環境で動作する)作っていたところ、以下のようなエラーに遭遇しました。

ImportError: /home/mlu/anaconda3/envs/example_env/bin/../lib/libstdc++.so.6: version `GLIBCXX_3.4.32' not found (required by /home/mlu/anaconda3/envs/example_env/lib/python3.10/site-packages/_dlib_pybind11.cpython-310-x86_64-linux-gnu.so)

「dlib_pybind11モジュールがGLIBCXX_3.4.32を要求してるけど、みつからない!」という感じのエラーですね。

本稿では、どうしたらこのエラーを直せるか、だけでなく、なぜこのエラーが発生してしまうのかを解説いたします。

まず、直し方から

まず直し方ですが、以下のコマンドでエラーを解消することができます。

conda install -c conda-forge libstdcxx-ng

GLIBCXX_x.x.x not found が発生するカラクリ

実際の環境構築、パッケージのビルド・インストールシーンでこの問題が発生するメカニズムを明らかにしたいとおもいます

STEP1. まずAnacondaのインストールからみていこう

Anacondaは以下のようにインストールしました。あえて少し古いAnacondaをつかっています。

# anaconda インストール
wget https://repo.anaconda.com/archive/Anaconda3-2024.02-1-Linux-x86_64.sh

bash Anaconda3-2024.02-1-Linux-x86_64.sh -b

echo "export PATH=~/anaconda3/bin:\$PATH" >> ~/.bashrc
source ~/.bashrc


これでAnacondaはインストールできました。

STEP2.dlibのインストールに必要なcmakeを入れる

あとでdlibをインストールしますがdlibはPythonパッケージですが、インストール時にバイナリがビルドされますので、そのビルドができるようにシステムにcmakeを入れておきます

sudo apt-get update
sudo apt install -y build-essential
sudo apt-get install -y cmake

build-essential パッケージのインストールでは、

The following NEW packages will be installed:
  build-essential g++ g++-13 libstdc++-13-dev
  Setting up g++ (4:13.2.0-7ubuntu1) ...
update-alternatives: using /usr/bin/g++ to provide /usr/bin/c++ (c++) in auto mode

ということで、g++ がシステムのデフォルトC++コンパイラとして設定されました

次にcmakeのインストールログで重要な部分を抜粋します

The following NEW packages will be installed:
  cmake cmake-data cpp cpp-13 cpp-13-x86-64-linux-gnu cpp-x86-64-linux-gnu gcc gcc-13 gcc-13-base
  gcc-13-x86-64-linux-gnu gcc-x86-64-linux-gnu libaom3 libarchive13t64 libasan8 libatomic1 libc-dev-bin
  libc-devtools libc6-dev libcc1-0 libcrypt-dev libde265-0 libgcc-13-dev libgd3 libgomp1
  ...
3 upgraded, 44 newly installed, 0 to remove and 165 not upgraded.
Need to get 77.4 MB of archives.
After this operation, 232 MB of additional disk space will be used.

Setting up gcc-13-x86-64-linux-gnu (13.3.0-6ubuntu2~24.04) ...
Setting up gcc-13 (13.3.0-6ubuntu2~24.04) ...
Setting up gcc-x86-64-linux-gnu (4:13.2.0-7ubuntu1) ...
Setting up gcc (4:13.2.0-7ubuntu1) ...

はい、このログより、cmakeをインストールしただけで GCC 13.3.0 が丸ごと新規いストールされたことがわかります

STEP3. conda仮想環境を作る

さて、次にPythonアプリケーションの実行環境としてcondaで仮想環境を作りましょう

conda create -n example_env python=3.10.0
conda init bash
source ~/.bashrc
conda activate example_env

これで example_env というconda仮想環境ができました

さて、次はこの環境にはいって、 dlib を pip でインストールしましょう

STEP4. dlibをpipインストール(+ビルド)する

インストールはいたって簡単で、以下のようにします

conda activate example_env
pip install dlib

ただ、ここでは、何が起こってるか詳細に把握するため以下のようにして詳細なログを見られるように dlib をインストールしましょう。

conda activate example_env
# dlibのビルドログを詳細に見る
pip install dlib --verbose --force-reinstall --no-cache-dir

「CMake is not installed on your system!」みたいなのがでたらSTEP2を忘れてますので、cmakeをしっかりシステムにいれておきましょう

さて、dlibをビルドすると、ログに以下のような出力がみられます

-- The C compiler identification is GNU 13.3.0
-- The CXX compiler identification is GNU 13.3.0
-- Check for working C compiler: /usr/bin/cc - skipped
-- Check for working CXX compiler: /usr/bin/c++ - skipped
-- Found PythonInterp: /home/mlu/anaconda3/envs/example_env/bin/python3.10
-- Found PythonLibs: /home/mlu/anaconda3/envs/example_env/lib/libpython3.10.so
/usr/include/c++/13/new:128:26: note: in a call to allocation function 'operator new []' declared here
128 | *GLIBCXX*NODISCARD void* operator new[](std::size_t) *GLIBCXX*THROW (std::bad_alloc)

つまりどういうことかというと、
conda環境でpip installしているにも関わらず

  • コンパイラ: システムの/usr/bin/cc/usr/bin/c++(GCC 13.3.0)を使用
  • C++標準ライブラリ: システムの/usr/include/c++/13/ヘッダーを使用
  • Python環境: conda環境内のPythonライブラリを使用

つまり、dlibは

  • ビルドツール(コンパイラ)→システムのコンパイラを使っている
  • 実行環境(Python)→conda環境をつかう

ということになります

まとめると「GLIBCXX_x.x.x not found が発生するカラクリ」とは

システムの新しいGLIBCXX_3.4.32に依存するバイナリが、conda環境の古いlibstdc++で実行される エラーとなっていた。

これって結構落とし穴ですよね。

ていうか、ビルドはシステムで実行がcondaで、それぞれまったく連携していないライブラリが参照されるっていう点がなんともですね。

そもそも conda 環境とは何なのか?

condaは「隔離された実行環境」を目指してつくられており、完全なOSではないが、独自のライブラリセットを持ち、実行時は環境内のライブラリを優先使用します。前述のとおりcondaの中には libstdc++ が含まれているが、これはシステムとは無関係で、conda-forgeで独自にビルドされたパッケージであるため、システム側のライブラリとはバージョン連携も全くしていません。

そもそもGLIBCXXとは何か?

libstdc++内のABI(Application Binary Interface)バージョンで、
GLIBCXX_3.4.32のような形式であらわされます。新しい機能が追加されるたびに番号が増えていきます。

たとえば以下はGCCのバージョンとの大まかな対応関係です

GCC 11 → GLIBCXX_3.4.29まで
GCC 12 → GLIBCXX_3.4.30まで
GCC 13 → GLIBCXX_3.4.32まで
GCC 14 → GLIBCXX_3.4.33まで

そもそもlibstdcxx-ngとは何か?

libstdcxx-ngはcondaパッケージ名で、conda版のGNU C++標準ライブラリ(libstdc++)の実体です

バージョン番号(例:13, 14, 15)はGCCのメジャーバージョンに対応します

GCCバージョンと libstdcxx-ng(conda版のC++標準ライブラリ) とGLIBCXX_ の対応は?

まとめるとバージョン対応は以下のようになります
GCC 9 → libstdcxx-ng 9 → GLIBCXX_3.4.26まで
GCC 11 → libstdcxx-ng 11 → GLIBCXX_3.4.29まで
GCC 12 → libstdcxx-ng 12 → GLIBCXX_3.4.30まで
GCC 13 → libstdcxx-ng 13 → GLIBCXX_3.4.32まで

実際にシステムとcondaの差分を確認する

さて、すれ違う原理がわかったところで実際に確認してみましょう

conda側のC++標準ライブラリについて調べる

まず、conda側のlibstdcxxのバージョンをみてみましょう。

$ conda list | grep -E "(gcc|libstdcxx)"

_libgcc_mutex             0.1                        main
libgcc-ng                 11.2.0               h1234567_1
libstdcxx-ng              11.2.0               h1234567_1

はい、ここからわかるとおりcondaにはlibstdcxx-ng 11.2.0 が入っていました。これは GCC 11.2.0のビルド済C++標準ライブラリですね。

さらにGLIBCXXのバージョンをみてみましょう

$ strings ~/anaconda3/lib/libstdc++.so.6 | grep GLIBCXX | tail -5

_ZNKSs15_M_check_lengthEmmPKc@@GLIBCXX_3.4.5
_ZNKSt14basic_ifstreamIwSt11char_traitsIwEE7is_openEv@GLIBCXX_3.4
_ZNSs4_Rep26_M_set_length_and_sharableEm@@GLIBCXX_3.4.5
GLIBCXX_3.4.26
_ZNKSs11_M_disjunctEPKc@GLIBCXX_3.4

GLIBCXX_3.4.26 ですね。

ここで最初のエラーメッセージを思い出しましょう、

ImportError: /home/mlu/anaconda3/envs/example_env/bin/../lib/libstdc++.so.6: version `GLIBCXX_3.4.32' not found (required by /home/mlu/anaconda3/envs/example_env/lib/python3.10/site-packages/_dlib_pybind11.cpython-310-x86_64-linux-gnu.so)

「GLIBCXX_3.4.32 がみつからん」といっていますね。

そりゃそうです、conda側はGLIBCXX_3.4.26なのですから。

これが原因ですね。

システム側のC++標準ライブラリについて調べる

では件のdlib(つまり/home/mlu/anaconda3/envs/example_env/lib/python3.10/site-packages/_dlib_pybind11.cpython-310-x86_64-linux-gnu.so)にリンクしてるC++標準ライブラリを調べてみましょう

# ここでは $CONDA_PREFIXは/home/mlu/anaconda3/envs/example_env です
$ldd $CONDA_PREFIX/lib/python3.10/site-packages/_dlib_pybind11.cpython-310-x86_64-linux-gnu.so | grep libstdc++

        libstdc++.so.6 => /lib/x86_64-linux-gnu/libstdc++.so.6 (0x00007f9085cab000)

/lib/x86_64-linux-gnu/libstdc++.so.6って出ていますね。やはりdlibはシステムのlibstdc++にリンクされていましたね。conda環境の$CONDA_PREFIX/lib/libstdc++.so.6にリンクされているわけでは無いことがハッキリしました。

で、システム側のGLIBCXXを調べてみるとちゃんとシステム側には GLIBCXX_3.4.32 がありました。

strings /lib/x86_64-linux-gnu/libstdc++.so.6 | grep GLIBCXX_3.4.32

GLIBCXX_3.4.32

(または strings /lib/x86_64-linux-gnu/libstdc++.so.6 | grep GLIBCXX でシステムのlibstdc++のGLIBCXX一覧を表示させられます)

最後にもう一度、直し方

本問題について、冒頭で直し方を書きました

conda install -c conda-forge libstdcxx-ng

これでconda内のC++標準ライブラリが最新になりますが、

GCC 12 → libstdcxx-ng 12 → GLIBCXX_3.4.30まで
GCC 13 → libstdcxx-ng 13 → GLIBCXX_3.4.32まで

ということで、conda内のC++標準ライブラリはまぁ GCC 13 の標準ライブラリがあればこと足りるということなので最新版というより以下のようにGCC13が入るようにすればOKということになります

conda install -c conda-forge libstdcxx-ng=13

まとめ

今回は、Pythonパッケージのdlibにおいて、「ビルド環境と実行環境でライブラリバージョンが異なる」というdependency hellの実例と原因と対策について解説しました。
すこし古いAnacondaをいれたせいで、そこに備わっていたC++標準ライブラリも古く、逆にシステム側は新しい標準ライブラリが入っており、システム側でビルドしてしまった(というか勝手にそうなる)がためにconda環境では動かないという問題に直面しました。

PythonパッケージはLinux,GCC のようなC++層のビルドを伴うものが多く、このような依存関係問題がよく発生します。Pure Pythonだけでも結構依存関係は面倒ですが、システム層(今回でいえばlibstdcppライブラリ)のビルドでの依存関係の問題がでると「あー面倒」となりがちですが、その発生原理やビルドやリンクのメカニズムを知っていると、地に足のついたトラブル対処ができるとおもいます。逆にこのあたりをウヤムヤにすると、さらなるdependency hell に陥ることがありますので、本稿がそういったお悩み解決のお役にたてれば幸いです!

では、また次回おあいしましょう!

Read more

AIがよく間違える「クロージャ問題」の本質と対策

AIがよく間違える「クロージャ問題」の本質と対策

こんにちは! 本日は「クロージャ問題」に関する話題となります。 Pythonでループ内に関数を定義したことはありますか? もしあるなら、あれれ?な挙動に遭遇したことがあるかもしれません。 本稿では、Pythonプログラマーなら一度は経験する「クロージャ問題」について、初心者にもわかりやすく解説してみたいとおもいます クロージャとは何か? そもそも ”クロージャ” とは何でしょうか。 クロージャ(closure)とは、関数が自分の定義されたスコープの変数を覚えて持ち運ぶ仕組み のことです。 もう少し分解すると、次の2つがポイントとなります 1. 内側の関数が、外側の関数の変数を使える 2. 外側の関数が終了しても、その変数は生き続ける 普通の関数とクロージャ―を使った関数を比較してみましょう 普通の関数との比較 まずは普通の関数から、 def add(x, y): return x + y print(add(3, 5)) # 8 print(add(3, 7)

By Qualiteg プロダクト開発部
フリーランスHub様にQualiteg Blogをご紹介いただきました

フリーランスHub様にQualiteg Blogをご紹介いただきました

この度、フリーランス向け案件検索サービス「フリーランスHub」様の特集記事「トレンドをキャッチアップ!AIに関する情報が得られるメディア・ブログまとめ」にて、弊社が運営する「Qualiteg Blog」をご紹介いただきました。 掲載記事について フリーランスHub様の記事では、AI技術の最前線で活躍するエンジニアや開発者の方々に向けて、価値ある情報源となるメディア・ブログが厳選して紹介されています。 その中で、Qualiteg Blogを「AI技術の専門知識を実践的なビジネス活用につなげる貴重な情報源」として取り上げていただきました。 特に以下の点を評価いただいております * 実践的なビジネス活用事例の提供 AI新規事業創出や事業選定方法など、経営者やビジネスリーダーが直面する課題への具体的な解決策 * 技術的な深掘りコンテンツ リップシンク技術など、実際のサービスで使用されている技術の開発現場目線での詳細な解説 * 多様な情報発信 代表執筆記事、AIトピックス、講演会動画など、幅広いフォーマットでの情報提供 今後も価値ある情報発

By Qualiteg ニュース
PyTorchの重いCUDA処理を非同期化したらメモリリークした話と、その解決策

PyTorchの重いCUDA処理を非同期化したらメモリリークした話と、その解決策

こんにちは!Qualitegプロダクト開発部です! 今回は同期メソッドを非同期メソッド(async)化しただけなのに、思わぬメモリリーク※に見舞われたお話です。 深層学習モデルを使った動画処理システムを開発していた時のことです。 「処理の進捗をリアルタイムでWebSocketで通知したい」という要件があり、「単にasync/awaitを使えばいいだけでしょ?」と軽く考えていたら、思わぬ落とし穴にはまりました。 プロ仕様のGPUを使っていたにも関わらず、メモリ不足でクラッシュしてしまいました。 この記事では、その原因と解決策、そして学んだ教訓を詳しく共有したいと思います。同じような問題に直面している方の参考になれば幸いです。 ※ 厳密には「メモリリーク」ではなく「メモリの解放遅延」ですが、 実用上の影響は同じなので、この記事では便宜上「メモリリーク」と表現します。 背景:なぜ進捗通知は非同期である必要があるのか モダンなWebアプリケーションの要求 最近のWebアプリケーション開発では、ユーザー体験を向上させるため、長時間かかる処理の進捗をリアルタイムで表示することが

By Qualiteg プロダクト開発部
ゼロトラスト時代のLLMセキュリティ完全ガイド:ガーディアンエージェントへの進化を見据えて

ゼロトラスト時代のLLMセキュリティ完全ガイド:ガーディアンエージェントへの進化を見据えて

こんにちは! 今日はセキュリティの新たな考え方「ゼロトラスト」とLLMを中心としたAIセキュリティについて解説いたします! はじめに 3つのパラダイムシフトが同時に起きている いま、企業のIT環境では3つの大きな変革が起ころうとしています。 1つ目は「境界防御からゼロトラストへ」というセキュリティモデルの転換。 2つ目は「LLMの爆発的普及」による新たなリスクの出現。 そして3つ目は「AIエージェント時代の到来」とそれに伴う「ガーディアンエージェント」という新概念の登場です。 これらは別々の出来事のように見えて、実は密接に関連しています。本記事では、この3つの変革がどのように結びつき、企業がどのような対策を取るべきかを解説いたします 目次 1. はじめに:3つのパラダイムシフトが同時に起きている 2. 第1の変革:ゼロトラストという新しいセキュリティ思想 3. 第2の変革:LLM時代の到来とその影響 4. 第3の変革:AIエージェントとガーディアンエージェント 5. 3つの変革を統合する:実践的なアプローチ 6. 実装のベストプラクティス 7. 日本

By Qualiteg コンサルティング