如何在 Google Colab 上安装 nvidia apex

Tom*_* Yu 12 python gpu nvidia pytorch google-colaboratory

我所做的是按照官方 github 站点上的说明进行操作

!git clone https://github.com/NVIDIA/apex
!cd apex
!pip install -v --no-cache-dir ./
Run Code Online (Sandbox Code Playgroud)

它给了我错误:

ERROR: Directory './' is not installable. Neither 'setup.py' nor 'pyproject.toml' found.
Exception information:
Traceback (most recent call last):
  File "/usr/local/lib/python3.6/dist-packages/pip/_internal/cli/base_command.py", line 178, in main
    status = self.run(options, args)
  File "/usr/local/lib/python3.6/dist-packages/pip/_internal/commands/install.py", line 326, in run
    self.name, wheel_cache
  File "/usr/local/lib/python3.6/dist-packages/pip/_internal/cli/base_command.py", line 268, in populate_requirement_set
    wheel_cache=wheel_cache
  File "/usr/local/lib/python3.6/dist-packages/pip/_internal/req/constructors.py", line 248, in install_req_from_line
    "nor 'pyproject.toml' found." % name
pip._internal.exceptions.InstallationError: Directory './' is not installable. Neither 'setup.py' nor 'pyproject.toml' found.
Run Code Online (Sandbox Code Playgroud)

小智 16

添加 CUDA_HOME 环境变量后为我工作:

%%writefile setup.sh

export CUDA_HOME=/usr/local/cuda-10.1
git clone https://github.com/NVIDIA/apex
pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./apex
Run Code Online (Sandbox Code Playgroud)
!sh setup.sh
Run Code Online (Sandbox Code Playgroud)

  • 自 2021 年 6 月 21 日起,这不适用于 Colab。pytorch的默认版本现在是1.9+cuda102。最新版本(21 年 6 月 21 日)的 apex 无法使用 cuda102 构建上述选项。在 apex 构建之前,Pytorch 需要降级才能使用 cuda101。 (3认同)

小智 14

(只想添加评论,但我没有足够的声誉......)

它对我有用,但cd实际上不是必需的。另外,我需要这里建议的两个全局选项:https : //github.com/NVIDIA/apex/issues/86

%%writefile setup.sh

git clone https://github.com/NVIDIA/apex
pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./apex
Run Code Online (Sandbox Code Playgroud)

然后

!sh setup.sh
Run Code Online (Sandbox Code Playgroud)


kHa*_*hit 9

更新

首先,创建一个文件,例如 setup.sh如下:

对于带有 CUDA 和 C++ 扩展的顶点:

%%writefile setup.sh

git clone https://github.com/NVIDIA/apex
cd apex
pip install -v --disable-pip-version-check --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./
Run Code Online (Sandbox Code Playgroud)

然后,安装它

!sh setup.sh
Run Code Online (Sandbox Code Playgroud)

仅用于 Python 构建

%%writefile setup.sh

git clone https://github.com/NVIDIA/apex
cd apex
pip install -v --disable-pip-version-check --no-cache-dir ./
Run Code Online (Sandbox Code Playgroud)

一个Python-只有构建,忽略了某些融合内核需要使用apex.optimizers.FusedAdamapex.normalization.FusedLayerNorm等等。

检查顶点快速入门


小智 6

在colab中而不是使用“!” cd在命令前使用“%”

!git clone https://github.com/NVIDIA/apex
%cd apex
!pip install -v --no-cache-dir ./
Run Code Online (Sandbox Code Playgroud)

上面的代码可以正常工作。