如何处理layoutLMV3中超过512个标记的序列？

Question

如何处理长度超过 512 个标记的序列。我不想使用截断= True。但实际上想要处理更长的序列

Answer 1

您可以使用带有最大长度参数的步幅来处理较大的文档。

encoding = processor(images, words, boxes=boxes, word_labels=word_labels, truncation=True,padding="max_length", max_length = 512, stride = 128, return_overflowing_tokens = True,return_offsets_mapping = True)

这将有助于处理较大的文件。

让我知道这是否有用。