Pytorch操作检测NaNs

Question

是否有Pytorch内部程序来检测NaN张量中的s？Tensorflow有tf.is_nan和tf.check_numerics操作...... Pytorch在某处有类似的东西吗？我在文档中找不到这样的东西......

我正在寻找一个Pytorch内部例程,因为我希望这发生在GPU和CPU上.这不包括基于numpy的解决方案(如np.isnan(sometensor.numpy()).any())......

Answer 1

您始终可以利用以下事实nan != nan:

>>> x = torch.tensor([1, 2, np.nan])
tensor([  1.,   2., nan.])
>>> x != x
tensor([ 0,  0,  1], dtype=torch.uint8)

使用pytorch 0.4还有torch.isnan:

>>> torch.isnan(x)
tensor([ 0,  0,  1], dtype=torch.uint8)

Answer 2

从PyTorch 0.4.1开始,有一个detect_anomaly上下文管理器,它自动插入等同于assert not torch.isnan(grad).any()向后传播的所有步骤之间的断言.在向后传递期间出现问题时非常有用.

Answer 3

正如@cleros 在对@nemo 答案的评论中所建议的那样，您可以使用any()运算符将其作为布尔值获取：

torch.isnan(your_tensor).any()

Answer 4

如果你想直接在张量上调用它：

import torch

x = torch.randn(5, 4)
print(x.isnan().any())

出去：

import torch
x = torch.randn(5, 4)
print(x.isnan().any())
tensor(False)