TensorBoard不显示所有数据点

Question

我正在进行一项非常长的培训(强化学习,每步20M),每10k步写一次总结.在步骤4M和6M之间,我在TensorBoard标量图表中看到了2个峰值来获得游戏分数,然后我让它运行并进入睡眠状态.在早上,它在大约12M步骤运行,但我之前看到的步骤4M和6M之间的峰值从图表中消失了.我试图放大并发现TensorBoard(随机？)跳过了一些数据点.我还试图导出数据,但导出的.csv中也缺少包括峰值在内的一些数据点.

我寻找答案,并在TensorFlow github页面中找到了这个:

TensorBoard使用储层采样来对数据进行下采样,以便将其加载到RAM中.您可以在tensorboard/backend/server.py中修改每个标记保留的元素数.

有没有人修改过这个server.py文件？我在哪里可以找到该文件,如果我从源代码安装了TensorFlow,我是否必须在修改文件后重新编译它？

Answer 1

您无需为此更改源代码，有一个名为的标志--samples_per_plugin。

引用帮助命令

--samples_per_plugin：plugin_name = num_samples对的可选逗号分隔列表，用于显式指定该插件的每个标签要保留多少个样本。对于未指定的插件，TensorBoard会将记录的摘要随机降采样为合理的值，以防止长时间运行的作业出现内存不足错误。该标志允许对该下采样进行精细控制。请注意，0表示保留该类型的所有样本。例如，“标量= 500，图像= 0”保留500个标量和所有图像。大多数用户不需要设置此标志。（默认：“”）

因此，如果您要使100张图像的滑块，请使用：

tensorboard --samples_per_plugin images=100

Answer 2

评论已过期 - 实际上可以在"默认大小指南"中的tensorboard/backend/application.py中进行修改.默认情况下,它存储1000个标量.您可以任意增加该限制,或将其设置为0以存储每个标量.

您无需重新编译TensorBoard,甚至无需从源代码下载.您可以自己在TensorBoard中修改此文件.

如果你在virtualenv(ubuntu,mac)中使用pip安装TensorFlow ,那么在你的virtualenv目录中,application.py的路径应该是这样的lib/python2.7/site-packages/tensorflow/tensorboard/backend.如果您修改该文件,则应在tensorboard中获取新设置(当您在该virtualenv中运行tensorboard时).如果你像我一样,你也会发一个打印声明,这样你就可以确定你正在运行修改后的代码:)