スポンサーリンク
問題が発生
PyTorchでFairseqを使用すると、fairseq/optim/fused_adam.py にて
KeyError: 'bias_correction'
というエラーが発生する場合があります。
これは私の場合、学習状態をcheckpointとして保存しておき、その後CUDAのバージョンを変更した後、途中のエポックから学習を再開した場合に発生しました。
スポンサーリンク解決方法
CUDAのバージョンを変更するなど、環境を変えると以前に保存したcheckpointが使えなくなるようです。
--save-dir や--restore-file オプションの指定を変えて、古いcheckpointを使わないようにすると、エラーが発生しなくなります。