システムとcondaのC++標準ライブラリ(libstdc++)のバージョン違い問題による事象と対処法解説
こんにちは！
先日、dlibをつかったPythonアプリケーション(conda環境で動作する）作っていたところ、以下のようなエラーに遭遇しました。
ImportError: /home/mlu/anaconda3/envs/example_env/bin/../lib/libstdc++.so.6: version `GLIBCXX_3.4.32' not found (required by /home/mlu/anaconda3/envs/example_env/lib/python3.10/site-packages/_dlib_pybind11.cpython-310-x86_64-linux-gnu.so)
「dlib_pybind11モジュールがGLIBCXX_3.4.32を要求してるけど、みつからない！」という感じのエラーですね。
本稿では、どうしたらこのエラーを直せるか、だけでなく、なぜこのエラーが発生してしまうのかを解説いたします。
まず、直し方から
まず直し方ですが、以下のコマンドでエラーを解消することができます。
conda install -c conda-forge libstdcxx-ngGLIBCXX_x.x.x not found が発生するカラクリ
実際の環境構築、パッケージのビルド・インストールシーンでこの問題が発生するメカニズムを明らかにしたいとおもいます
STEP1. まずAnacondaのインストールからみていこう
Anacondaは以下のようにインストールしました。あえて少し古いAnacondaをつかっています。
# anaconda インストール
wget https://repo.anaconda.com/archive/Anaconda3-2024.02-1-Linux-x86_64.sh
bash Anaconda3-2024.02-1-Linux-x86_64.sh -b
echo "export PATH=~/anaconda3/bin:\$PATH" >> ~/.bashrc
source ~/.bashrc
これでAnacondaはインストールできました。
STEP2.dlibのインストールに必要なcmakeを入れる
あとでdlibをインストールしますがdlibはPythonパッケージですが、インストール時にバイナリがビルドされますので、そのビルドができるようにシステムにcmakeを入れておきます
sudo apt-get update
sudo apt install -y build-essential
sudo apt-get install -y cmake
build-essential パッケージのインストールでは、
The following NEW packages will be installed:
build-essential g++ g++-13 libstdc++-13-dev
Setting up g++ (4:13.2.0-7ubuntu1) ...
update-alternatives: using /usr/bin/g++ to provide /usr/bin/c++ (c++) in auto modeということで、g++ がシステムのデフォルトC++コンパイラとして設定されました
次にcmakeのインストールログで重要な部分を抜粋します
The following NEW packages will be installed:
cmake cmake-data cpp cpp-13 cpp-13-x86-64-linux-gnu cpp-x86-64-linux-gnu gcc gcc-13 gcc-13-base
gcc-13-x86-64-linux-gnu gcc-x86-64-linux-gnu libaom3 libarchive13t64 libasan8 libatomic1 libc-dev-bin
libc-devtools libc6-dev libcc1-0 libcrypt-dev libde265-0 libgcc-13-dev libgd3 libgomp1
...
3 upgraded, 44 newly installed, 0 to remove and 165 not upgraded.
Need to get 77.4 MB of archives.
After this operation, 232 MB of additional disk space will be used.
Setting up gcc-13-x86-64-linux-gnu (13.3.0-6ubuntu2~24.04) ...
Setting up gcc-13 (13.3.0-6ubuntu2~24.04) ...
Setting up gcc-x86-64-linux-gnu (4:13.2.0-7ubuntu1) ...
Setting up gcc (4:13.2.0-7ubuntu1) ...はい、このログより、cmakeをインストールしただけで GCC 13.3.0 が丸ごと新規いストールされたことがわかります
STEP3. conda仮想環境を作る
さて、次にPythonアプリケーションの実行環境としてcondaで仮想環境を作りましょう
conda create -n example_env python=3.10.0
conda init bash
source ~/.bashrc
conda activate example_env
これで example_env というconda仮想環境ができました
さて、次はこの環境にはいって、 dlib を pip でインストールしましょう
STEP4. dlibをpipインストール（＋ビルド）する
インストールはいたって簡単で、以下のようにします
conda activate example_env
pip install dlibただ、ここでは、何が起こってるか詳細に把握するため以下のようにして詳細なログを見られるように dlib をインストールしましょう。
conda activate example_env
# dlibのビルドログを詳細に見る
pip install dlib --verbose --force-reinstall --no-cache-dir「CMake is not installed on your system!」みたいなのがでたらSTEP2を忘れてますので、cmakeをしっかりシステムにいれておきましょう
さて、dlibをビルドすると、ログに以下のような出力がみられます
-- The C compiler identification is GNU 13.3.0
-- The CXX compiler identification is GNU 13.3.0
-- Check for working C compiler: /usr/bin/cc - skipped
-- Check for working CXX compiler: /usr/bin/c++ - skipped
-- Found PythonInterp: /home/mlu/anaconda3/envs/example_env/bin/python3.10
-- Found PythonLibs: /home/mlu/anaconda3/envs/example_env/lib/libpython3.10.so
/usr/include/c++/13/new:128:26: note: in a call to allocation function 'operator new []' declared here
128 | *GLIBCXX*NODISCARD void* operator new[](std::size_t) *GLIBCXX*THROW (std::bad_alloc)
つまりどういうことかというと、
conda環境でpip installしているにも関わらず
- コンパイラ: システムの
/usr/bin/cc、/usr/bin/c++（GCC 13.3.0）を使用 - C++標準ライブラリ: システムの
/usr/include/c++/13/ヘッダーを使用 - Python環境: conda環境内のPythonライブラリを使用
つまり、dlibは
- ビルドツール（コンパイラ）→システムのコンパイラを使っている
- 実行環境（Python）→conda環境をつかう
ということになります
まとめると「GLIBCXX_x.x.x not found が発生するカラクリ」とは
システムの新しいGLIBCXX_3.4.32に依存するバイナリが、conda環境の古いlibstdc++で実行される エラーとなっていた。
これって結構落とし穴ですよね。
ていうか、ビルドはシステムで実行がcondaで、それぞれまったく連携していないライブラリが参照されるっていう点がなんともですね。
そもそも conda 環境とは何なのか？
condaは「隔離された実行環境」を目指してつくられており、完全なOSではないが、独自のライブラリセットを持ち、実行時は環境内のライブラリを優先使用します。前述のとおりcondaの中には libstdc++ が含まれているが、これはシステムとは無関係で、conda-forgeで独自にビルドされたパッケージであるため、システム側のライブラリとはバージョン連携も全くしていません。
そもそもGLIBCXXとは何か？
libstdc++内のABI（Application Binary Interface）バージョンで、
GLIBCXX_3.4.32のような形式であらわされます。新しい機能が追加されるたびに番号が増えていきます。
たとえば以下はGCCのバージョンとの大まかな対応関係です
GCC 11 → GLIBCXX_3.4.29まで
GCC 12 → GLIBCXX_3.4.30まで
GCC 13 → GLIBCXX_3.4.32まで
GCC 14 → GLIBCXX_3.4.33まで
そもそもlibstdcxx-ngとは何か？
libstdcxx-ngはcondaパッケージ名で、conda版のGNU C++標準ライブラリ（libstdc++）の実体です
バージョン番号（例：13, 14, 15）はGCCのメジャーバージョンに対応します
GCCバージョンと libstdcxx-ng(conda版のC++標準ライブラリ) とGLIBCXX_ の対応は？
まとめるとバージョン対応は以下のようになります
GCC 9 → libstdcxx-ng 9 → GLIBCXX_3.4.26まで
GCC 11 → libstdcxx-ng 11 → GLIBCXX_3.4.29まで
GCC 12 → libstdcxx-ng 12 → GLIBCXX_3.4.30まで
GCC 13 → libstdcxx-ng 13 → GLIBCXX_3.4.32まで
実際にシステムとcondaの差分を確認する
さて、すれ違う原理がわかったところで実際に確認してみましょう
conda側のC++標準ライブラリについて調べる
まず、conda側のlibstdcxxのバージョンをみてみましょう。
$ conda list | grep -E "(gcc|libstdcxx)"
_libgcc_mutex 0.1 main
libgcc-ng 11.2.0 h1234567_1
libstdcxx-ng 11.2.0 h1234567_1はい、ここからわかるとおりcondaにはlibstdcxx-ng 11.2.0 が入っていました。これは GCC 11.2.0のビルド済C++標準ライブラリですね。
さらにGLIBCXXのバージョンをみてみましょう
$ strings ~/anaconda3/lib/libstdc++.so.6 | grep GLIBCXX | tail -5
_ZNKSs15_M_check_lengthEmmPKc@@GLIBCXX_3.4.5
_ZNKSt14basic_ifstreamIwSt11char_traitsIwEE7is_openEv@GLIBCXX_3.4
_ZNSs4_Rep26_M_set_length_and_sharableEm@@GLIBCXX_3.4.5
GLIBCXX_3.4.26
_ZNKSs11_M_disjunctEPKc@GLIBCXX_3.4GLIBCXX_3.4.26 ですね。
ここで最初のエラーメッセージを思い出しましょう、
ImportError: /home/mlu/anaconda3/envs/example_env/bin/../lib/libstdc++.so.6: version `GLIBCXX_3.4.32' not found (required by /home/mlu/anaconda3/envs/example_env/lib/python3.10/site-packages/_dlib_pybind11.cpython-310-x86_64-linux-gnu.so)
「GLIBCXX_3.4.32 がみつからん」といっていますね。
そりゃそうです、conda側はGLIBCXX_3.4.26なのですから。
これが原因ですね。
システム側のC++標準ライブラリについて調べる
では件のdlib(つまり/home/mlu/anaconda3/envs/example_env/lib/python3.10/site-packages/_dlib_pybind11.cpython-310-x86_64-linux-gnu.so)にリンクしてるC++標準ライブラリを調べてみましょう
# ここでは $CONDA_PREFIXは/home/mlu/anaconda3/envs/example_env です
$ldd $CONDA_PREFIX/lib/python3.10/site-packages/_dlib_pybind11.cpython-310-x86_64-linux-gnu.so | grep libstdc++
libstdc++.so.6 => /lib/x86_64-linux-gnu/libstdc++.so.6 (0x00007f9085cab000)/lib/x86_64-linux-gnu/libstdc++.so.6って出ていますね。やはりdlibはシステムのlibstdc++にリンクされていましたね。conda環境の$CONDA_PREFIX/lib/libstdc++.so.6にリンクされているわけでは無いことがハッキリしました。
で、システム側のGLIBCXXを調べてみるとちゃんとシステム側には GLIBCXX_3.4.32 がありました。
strings /lib/x86_64-linux-gnu/libstdc++.so.6 | grep GLIBCXX_3.4.32
GLIBCXX_3.4.32（または strings /lib/x86_64-linux-gnu/libstdc++.so.6 | grep GLIBCXX でシステムのlibstdc++のGLIBCXX一覧を表示させられます）
最後にもう一度、直し方
本問題について、冒頭で直し方を書きました
conda install -c conda-forge libstdcxx-ngこれでconda内のC++標準ライブラリが最新になりますが、
GCC 12 → libstdcxx-ng 12 → GLIBCXX_3.4.30まで
GCC 13 → libstdcxx-ng 13 → GLIBCXX_3.4.32まで
ということで、conda内のC++標準ライブラリはまぁ GCC 13 の標準ライブラリがあればこと足りるということなので最新版というより以下のようにGCC13が入るようにすればOKということになります
conda install -c conda-forge libstdcxx-ng=13まとめ
今回は、Pythonパッケージのdlibにおいて、「ビルド環境と実行環境でライブラリバージョンが異なる」というdependency hellの実例と原因と対策について解説しました。
すこし古いAnacondaをいれたせいで、そこに備わっていたC++標準ライブラリも古く、逆にシステム側は新しい標準ライブラリが入っており、システム側でビルドしてしまった（というか勝手にそうなる）がためにconda環境では動かないという問題に直面しました。
PythonパッケージはLinux,GCC のようなC++層のビルドを伴うものが多く、このような依存関係問題がよく発生します。Pure Pythonだけでも結構依存関係は面倒ですが、システム層（今回でいえばlibstdcppライブラリ）のビルドでの依存関係の問題がでると「あー面倒」となりがちですが、その発生原理やビルドやリンクのメカニズムを知っていると、地に足のついたトラブル対処ができるとおもいます。逆にこのあたりをウヤムヤにすると、さらなるdependency hell に陥ることがありますので、本稿がそういったお悩み解決のお役にたてれば幸いです！
では、また次回おあいしましょう！
