TF2.13：本地集合点接收项目已取消

Question

从 TF2.13 开始，我们使用 Docker 看到此警告tensorflow/tensorflow:latest-gpu：

 tensorflow/core/framework/local_rendezvous.cc:405] Local rendezvous recv item cancelled. Key hash:

在训练开始之前，它会重复几次。有谁知道什么是“本地集合点”以及我们如何避免出现此消息？

我在 TF2.12 中尝试过（使用来自 nvidia nvcr.io/nvidia/tensorflow:23.05-tf2-py3 的 Docker），但没有看到此消息。

Answer 1

我可以在TF2.13中确认这个问题。我无法找到有关该消息的详细信息或直接解决它，但由于一切似乎都工作得很好，并且两个多月以来一直没有解决方案，所以我决定静音此消息（不可避免地与其他相同或更低的消息）级别）通过设置最小值。TF 的日志级别使用：

import os
os.environ["TF_CPP_MIN_LOG_LEVEL"] = "1"

在导入 TF 之前执行此操作很重要。