AttributeError: module 'torch._dynamo' has no attribute 'mark_static_address' が発生したときの対処法

AttributeError: module 'torch._dynamo' has no attribute 'mark_static_address' が発生したときの対処法
Photo by Tom Pumford / Unsplash

以下のようなエラーが出た場合の対処法

  File "/venv/Lib/site-packages/torch/utils/_contextlib.py", line 115, in decorate_context
    return func(*args, **kwargs)
           ^^^^^^^^^^^^^^^^^^^^^
  File "/venv/Lib/site-packages/transformers/generation/utils.py", line 1744, in generate
    model_kwargs["past_key_values"] = self._get_cache(
                                      ^^^^^^^^^^^^^^^^
  File "/venv/Lib/site-packages/transformers/generation/utils.py", line 1435, in _get_cache
    self._cache = cache_cls(
                  ^^^^^^^^^^
  File "/venv/Lib/site-packages/transformers/cache_utils.py", line 1012, in __init__
    torch._dynamo.mark_static_address(new_layer_key_cache)
    ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
AttributeError: module 'torch._dynamo' has no attribute 'mark_static_address'

原因

Pytorch のバージョンが古い可能性

現在の環境にインストールされている Pytorchのバージョンを調べる

以下のコマンドでインストールされているパッケージのバージョンを調べることができます

pip list

例えば、以下のように古い Pytorch の場合、上記のエラーが発生します

torch                         2.0.1+cu117
torchaudio                    2.0.2+cu117
torchvision                   0.15.2+cu117

対策

Pytorch のバージョンを最新にしましょう

pip install --upgrade コマンドをつかうと、最新のバージョンにアップデートすることができます。

Linux

pip install --upgrade torch torchvision torchaudio

Wndows

RuntimeError: No GPU found. A GPU is needed for quantization.

のようになる場合、CUDA バージョン指定(ここでは11.8)で以下のようにインストールします。

pip3 install --upgrade torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

Read more

[告白]残りのコンテキストが気になるたびに /context を打っていました。~Claude Code のステータスラインにコンテキストと利用枠の残りを常時表示する~

[告白]残りのコンテキストが気になるたびに /context を打っていました。~Claude Code のステータスラインにコンテキストと利用枠の残りを常時表示する~

Claude Code でコンテキストの残量を見るために、毎回 /context を打つ必要はありません。ステータスラインに、コンテキストの使用率と 5 時間・週の利用枠の残りを常時表示する方法を、Windows と Node.js だけで動く 40 行足らずのスクリプトつきで紹介します。

By Qualiteg Boot Camp
Claudeのリセット権(上限のリセット)とは?Fableリセット・週次リセットで戻るものとChatGPTとの違い

Claudeのリセット権(上限のリセット)とは?Fableリセット・週次リセットで戻るものとChatGPTとの違い

Claude Fable 5.2 のリリース記念で配られたリセット権(上限のリセット)をご紹介します。使った利用枠を定期リセットを待たずに戻せる権利で、Fable リセットで戻るのは Fable で使った分です。週次リセットとの違い、もらえる件数、プランごとの期限、注意点、ChatGPT のリセットとの違いを、公式ヘルプと実際の画面をもとに整理します。

By Qualiteg プロダクト開発部
ゼロから作るコーディングエージェント【第6回】評価をどう作るか。動くものを作らせて自動採点し、採点器そのものを疑う

ゼロから作るコーディングエージェント【第6回】評価をどう作るか。動くものを作らせて自動採点し、採点器そのものを疑う

採点器の「テスト」10点が3日間ずっと0/0でした。点数の表を見ているだけでは気づけません。仕様書を渡してWebシステムを作らせ、起動して叩いて採点する評価装置の作り方、5種類×3本の合否基準、対照実験を先にやる理由、自作でない課題で「テストだけが決めている契約」を先に洗う話を、測った数字で書きます。

By Qualiteg プロダクト開発部