tcmalloc：大型分配...在 Google Colab 中被杀死

Question

我试图在 Google Colab 中设置MuseGAN。我已经下载了数据，现在正在通过运行脚本，使用 SharedArray 包将数据存储到共享内存中来处理数据./scripts/process_data.sh。我遇到了这个错误

> Loading data from '/content/musegan/scripts/../data/train_x_lpd_5_phr.npz'.
Saving data to shared memory.
tcmalloc: large alloc 6245990400 bytes == 0x26b6000 @  0x7f97d2bea1e7 0x7f97d08e0a41 0x7f97d0943bb3 0x7f97d08e4937 0x5553b5 0x5a730c 0x503073 0x507641 0x504c28 0x502540 0x502f3d 0x507641 0x501945 0x591461 0x59ebbe 0x545068 0x506b39 0x502209 0x502f3d 0x506859 0x504c28 0x506393 0x634d52 0x634e0a 0x6385c8 0x63915a 0x4a6f10 0x7f97d27e7b97 0x5afa0a
./scripts/process_data.sh: line 5:   360 Killed                  python "$DIR/../src/process_data.py" "$DIR/../data/train_x_lpd_5_phr.npz"

有人可以解释一下吗？我不明白为什么我会遇到这个。我第一次遇到这个问题是因为我在没有 GPU（即只有 cpu）的机器上运行它，然后我听说了 Google Colab。

Answer 1

这是一个关于 Google 如何处理不断增加的内存使用量的问题，并认为 OOM 将会发生，即使它不会发生。

请参阅https://github.com/huggingface/transformers/issues/4668