我如何使用 BERT 进行机器翻译？

Question

我遇到了一个大问题。对于我的学士论文，我必须使用 BERT 制作一个机器翻译模型。但我现在一事无成。你知道文档或可以帮助我的东西吗？我已经在这个方向上阅读了一些论文，但也许有文档或教程可以帮助我。

对于我的学士论文，我必须将文本摘要翻译成标题。我希望有一个人可以帮助我。

Answer 1

BERT 不是机器翻译模型，BERT 旨在提供对各种 NLP 任务有用的上下文句子表示。尽管存在如何将 BERT 纳入机器翻译的方法（https://openreview.net/forum?id=Hyl7ygStwB），但这不是一个容易的问题，并且是否真的有回报也存在疑问。

从你的问题看，你好像不是真的机器翻译，而是自动摘要。与机器翻译类似，可以使用序列到序列模型进行处理，但我们在 NLP 中不称其为翻译。对于序列到序列建模，有不同的预训练模型，例如BART或MASS。这些应该比 BERT 有用得多。