如何创建具有 CUDA 支持的最新 Tensorflow 版本的调试版本？

Question

我尝试并尝试使用官方 docker 映像（latest-cuda-devel-py3 -> r1.12.0）为最新版本的 Tensorflow 创建调试版本，但似乎没有任何效果。有人最近为 Tensorflow (>= r1.11.0) 创建了一个成功的调试版本并且可以分享他的方法吗？

这是我到目前为止所尝试的。

我基本上尝试按照https://www.tensorflow.org/install/source 上的说明进行操作，但尝试修改它们以生成调试版本。我尝试过的任何事情都没有成功构建。

主机系统是具有大量 RAM（例如 512 GB 的 RAM -> DGX-1）的 Linux x86-64 机器。Docker-Image 中的 CUDA 版本是 CUDA-9.0。docker 镜像中最近的“最新”Tensorflow 版本是 r1.12.0

为了使任何 cuda-build 工作，我需要使用“nvidia-docker”，否则我会收到“libcuda.so.1”的链接器错误。

我是这样开始的：

nvidia-docker pull tensorflow/tensorflow:latest-devel-gpu-py3
nvidia-docker run --runtime=nvidia -it -w /tensorflow -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:latest-devel-gpu-py3 bash

然后我尝试使用配置项目

cd /tensorflow
./configure

我尝试了各种配置。我尝试将所有值保留为默认值。我尝试只启用我需要的部分。我试过根本不运行 ./configure 。我把它指向我自己的 cuda-9.0 和 tensorrt 安装。但根本不运行 ./configure （在 docker 镜像中）似乎会产生最好的结果（例如，我可以用最少的努力成功地进行优化构建）。

如果我使用确切的官方构建说明构建它，即创建优化/非调试构建，一切都按预期工作。所以运行以下似乎成功了。

bazel build --config=opt --config=cuda //tensorflow/tools/pip_package:build_pip_package

同样的事情，如果我运行以下，其中包括调试信息，但不关闭优化（例如，我不能真正用于调试目的）。

bazel build --config cuda --strip=never -c opt --copt="-ggdb"  //tensorflow/tools/pip_package:build_pip_package

但是所有禁用优化的东西似乎都不起作用。如果我运行以下（带或不带 --strip=never 标志）

bazel build --config cuda --strip=never -c dbg
//tensorflow/tools/pip_package:build_pip_package

我得到以下错误：

信息：从编译 tensorflow/contrib/framework/kernels/zero_initializer_op_gpu.cu.cc: external/com_google_absl/absl/strings/string_view.h(496): 错误: constexpr 函数返回是非常量

这可以通过定义 -DNDEBUG 来解决（参见nvcc error: string_view.h: constexpr function return is non-constant）。

但是如果我运行以下命令：

bazel build --config cuda --strip=never -c dbg --copt="-DNDEBUG"  //tensorflow/tools/pip_package:build_pip_package

我在构建的最后一步收到这些链接错误：

错误：/tensorflow/python/BUILD:3865:1：规则“//tensorflow/python:_pywrap_tensorflow_internal.so”的链接失败（出口1）/usr/lib/gcc/x86_64-linux-gnu/5/../ ../../x86_64-linux-gnu/crti.o: 在函数_init': (.init+0x7): relocation truncated to fit: R_X86_64_REX_GOTPCRELX against undefined symbolgmon_start ' /usr/lib/gcc/x86_64-linux-gnu/5/crtbeginS.o: 在函数 deregister_tm_clones': crtstuff.c:(.text+0x3): relocation truncated to fit: R_X86_64_PC32 against.tm_clone_table' crtstuff.c:(。 text+0xa)：重定位被截断以适合：R_X86_64_PC32 对符号__TMC_END__' defined in .nvFatBinSegment section in bazel-out/k8-dbg/bin/tensorflow/python/_pywrap_tensorflow_internal.so crtstuff.c:(.text+0x1e): relocation truncated to fit: R_X86_64_REX_GOTPCRELX against undefined symbol _ITM_deregisterTMCloneTable' /usr/lib/gcc/x86_64-linux-gnu/5/crtbeginS.o：在函数 register_tm_clones': crtstuff.c:(.text+0x43): relocation truncated to fit: R_X86_64_PC32 against.tm_clone_table' crtstuff.c:(.text)+0x0x重新定位被截断以适合：R_X86_64_PC32 对符号 __TMC_END__' defined in .nvFatBinSegment section in bazel-out/k8-dbg/bin/tensorflow/python/_pywrap_tensorflow_internal.so crtstuff.c:(.text+0x6b): relocation truncated to fit: R_X86_64_REX_GOTPCRELX against undefined symbol _ITM_registerTMCloneTable' /usr/lib/gcc/x86_64-linux-gnu/5/crtbeginS.o: 在函数中 __do_global_dtors_aux': crtstuff.c:(.text+0x92): relocation truncated to fit: R_X86_64_PC32 against.bss' crtstuff.c:(.text+0x9c): 重定位被截断以适合：R_X86_64_GOTPCREL 针对符号 __cxa_finalize@@GLIBC_2.2.5' defined in .text section in /lib/x86_64-linux-gnu/libc.so.6 crtstuff.c:(.text+0xaa): relocation truncated to fit: R_X86_64_PC32 against symbol__dso_handle' 在 /usr/lib/gcc/x86_64-linux-gnu/5/crtbeginS 的 .data.rel.local 部分中定义。的.o crtstuff.c :(文本+为0xBB）：附加的重定位溢出从输出巴泽尔出/ K8-DBG / bin中省略/ tensorflow /蟒/ _pywrap_tensorflow_internal.so：在`_ZNK5Eigen10TensorBaseINS_9TensorMapINS_6TensorIKjLi1ELi1EiEELi16ENS_11MakePointerEEELi0EE9unaryExprINS_8internal11scalar_leftIjjN10tensorflow7functor14right_shift_opIjEEEEEEKNS_18TensorCwiseUnaryOpIT_KS6_EERKSH_ GOT PLT条目PC相对偏移溢出' collect2: 错误：ld 返回 1 退出状态目标 //tensorflow/tools/pip_package:build_pip_package 构建失败

我希望能够通过进行整体构建来解决这个问题。所以我尝试了，并得到了基本相同的错误。

bazel build --config cuda -c dbg --config=monolithic --copt="-DNDEBUG"  //tensorflow/tools/pip_package:build_pip_package

我还尝试了TensorFlow 不使用调试模式构建的方法以及我通过广泛的谷歌搜索发现的其他几种变体。我的选择不多了。

我会从 1.11 开始使用任何 Tensorflow 版本，包括（工作）每晚构建。它只需要在 x86 linux 上使用 CUDA 9，包括调试符号和禁用的优化。

非常感谢您提前..

Answer 1

以防万一其他人偶然发现这个问题。我终于让它编译，使用以下命令：

bazel build --config cuda --strip=never --copt="-DNDEBUG" --copt="-march=native" --copt="-Og" --copt="-g3" --copt="-mcmodel=medium" --copt="-fPIC"  //tensorflow/tools/pip_package:build_pip_package

之后，安装有点麻烦，因为不能再制造轮子了。但是无论如何都可以安装 tensorflow 构建：

在构建轮子时，通过

./bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg

该过程失败并出现错误，这似乎是 python 的内置 zip 压缩库的问题（即它无法压缩生成的存档，因为它太大了）。

无论如何运行它很重要，因为它只会在最后一步（归档）失败。运行 build_pip_package 时，它​​会在进程开始时打印到控制台，它正在临时目录（例如 /tmp/Shjwejweu ）中构建包 - 该临时目录的内容可用于安装 tf 调试版本。只需将其复制到目标机器，然后确保您已删除任何旧的 tensorflow 包（例如 pip uninstall tensorflow），并在其中运行：

python setup.py install

但是要注意先主动卸载“tensorflow”包，否则会得到两个同时安装的tensorflow版本..