Colab：libtorch_cuda_cu.so：无法打开共享对象文件：没有这样的文件或目录警告（f“无法加载图像Python扩展：{e}”）

Question

我正在尝试使用aitextgengoogle Colab 中的 python 包，以便我可以微调 GPT。

首先，当我安装这个包的最后一个版本时，在导入它时遇到了这个错误。

Unable to import name '_TPU_AVAILABLE' from 'pytorch_lightning.utilities'

尽管在这个问题中给出的解决方案的帮助下，我可以通过降级我的包来传递这个错误，如下所示：

!pip3 install -q aitextgen==0.5.2
!pip3 install -q torchtext==0.10.0
!pip3 install -q torchmetrics==0.6.0
!pip3 install -q pytorch-lightning==1.4.0rc0

但现在我在导入aitextgen包时遇到这个错误，colab 会崩溃！

/usr/local/lib/python3.8/dist-packages/torchvision/io/image.py:13: UserWarning: Failed to load image Python extension: libtorch_cuda_cu.so: cannot open shared object file: No such file or directory
  warn(f"Failed to load image Python extension: {e}")

请记住，错误是在导入包时出现的，并且我的代码中没有错误。更清楚地说，当我像aitextgen这样导入时出现此错误：

import aitextgen

我该如何处理这个错误？

Answer 1

似乎是由于您的 CUDA 版本（也可以是 cuDNN 版本）与 tf、torch 或 jax 支持的版本不匹配。

截至 2023 年 8 月，如果您的 CUDA 或 cuDNN 版本为 +12，请尝试降级它们。您可以nvcc --version通过 找到您的 CUDA 版本，并通过 找到您的 cuDNN 版本apt list --installed | grep cudnn。

你可以用这个降级你的 cuDNN（也可能有其他方法）：

sudo apt-get install libcudnn8=8.8.1.3-1+cuda11.8
sudo apt-get install libcudnn8-dev=8.8.1.3-1+cuda11.8