spa*_*del 4 python nlp neural-network deep-learning bert-language-model
我想在与特定领域（在我的情况下与工程相关）相关的文本上微调 BERT。培训应该是无人监督的，因为我没有任何标签或任何东西。这可能吗？
您实际上想要的是继续对来自您特定领域的文本进行 BERT 预训练。在这种情况下，您要做的是继续将模型训练为掩码语言模型，但使用特定于域的数据。
您可以使用run_mlm.pyHuggingface 的变形金刚中的脚本。