RuntimeError:'torch.LongTensor'没有实现"exp"

Question

我正在按照本教程:http://nlp.seas.harvard.edu/2018/04/03/attention.html 从"注意力都是你需要的"论文中实现Transformer模型.

但是我收到以下错误:RuntimeError:"for"未实现'torch.LongTensor'

这是PositionalEnconding类中导致错误的行:

div_term = torch.exp(torch.arange(0, d_model, 2) * -(math.log(10000.0) / d_model))

在这里建造时:

pe = PositionalEncoding(20, 0)

有任何想法吗？？我已经尝试将其转换为Tensor Float类型,但这没有用.

我甚至用随附的文件下载了整个笔记本,错误似乎在原始教程中持续存在.

可能导致此错误的任何想法？

谢谢!

Answer 1

我碰巧也按照这个教程.

对我来说,我只是torch.arange生成了浮点型张量

从

position = torch.arange(0, max_len).unsqueeze(1)
div_term = torch.exp(torch.arange(0, d_model, 2) * -(math.log(10000.0) / d_model))

至

position = torch.arange(0., max_len).unsqueeze(1)
div_term = torch.exp(torch.arange(0., d_model, 2) * -(math.log(10000.0) / d_model))

只是一个简单的修复.但现在它对我有用.有可能是火炬exp和sin之前的支持LongTensor但不再支持(不太确定).