Torchtext AttributeError: 'Example' 对象没有属性 'text_content'

Question

我正在使用 RNN 并使用 Pytorch 和 Torchtext。我在 RNN 中构建词汇时遇到问题。我的代码如下：

TEXT = Field(tokenize=tokenizer, lower=True)
LABEL = LabelField(dtype=torch.float)

trainds = TabularDataset(
    path='drive/{}'.format(TRAIN_PATH), format='tsv',
    fields=[
        ('label_start', LABEL),
        ('label_end', None),
        ('title', None),
        ('symbol', None),
        ('text_content', TEXT),
    ])

testds = TabularDataset(
    path='drive/{}'.format(TEST_PATH), format='tsv',
    fields=[
        ('text_content', TEXT),
    ])

TEXT.build_vocab(trainds, testds)

当我想构建 vocab 时，我收到了这个烦人的错误：

AttributeError: 'Example' object has no attribute 'text_content'

我敢肯定，没有缺少text_contentattr。我做了 try-catch 以显示这个特定案例：

try:
    print(len(trainds[i]))
except:
    print(trainds[i].text_content)

令人惊讶的是，我没有收到任何错误，这个特定的打印命令显示：

['znana', 'okresie', 'masarni', 'walc', 'y', 'my?l', 'programie', 'sprawy', ...]

所以它表明，有 text_contentattr。当我在较小的数据集上执行此操作时，它就像一个魅力。当我想使用正确的数据时会出现此问题。我的想法用完了。也许有人有类似的情况，可以解释一下。

我的完整追溯：

AttributeError                            Traceback (most recent call last)
<ipython-input-16-cf31866a07e7> in <module>()
    155 
    156 if __name__ == "__main__":
--> 157     main()
    158 

<ipython-input-16-cf31866a07e7> in main()
    117             break
    118 
--> 119     TEXT.build_vocab(trainds, testds)
    120     print('zbudowano dla text')
    121     LABEL.build_vocab(trainds)

/usr/local/lib/python3.6/dist-packages/torchtext/data/field.py in build_vocab(self, *args, **kwargs)
    260                 sources.append(arg)
    261         for data in sources:
--> 262             for x in data:
    263                 if not self.sequential:
    264                     x = [x]

/usr/local/lib/python3.6/dist-packages/torchtext/data/dataset.py in __getattr__(self, attr)
    152         if attr in self.fields:
    153             for x in self.examples:
--> 154                 yield getattr(x, attr)
    155 
    156     @classmethod

AttributeError: 'Example' object has no attribute 'text_content'

Answer 1

我有同样的问题。原因是我的输入 csv 数据集中的某些行是空的。