小编a_g*_*evr的帖子

使用随机权重初始化 HuggingFace Bert

如何用随机权重初始化 BERT?我想在掩码语言建模任务中比较多语言、单语言和随机初始化 BERT 的性能。而在前一种情况下,它非常简单:

from transformers import BertTokenizer, BertForMaskedLM

tokenizer_multi = BertTokenizer.from_pretrained('bert-base-multilingual-cased')
model_multi = BertForMaskedLM.from_pretrained('bert-base-multilingual-cased')
model_multi.eval()

tokenizer_mono = BertTokenizer.from_pretrained('bert-base-cased')
model_mono = BertForMaskedLM.from_pretrained('bert-base-cased')
model_mono.eval()
Run Code Online (Sandbox Code Playgroud)

我不知道如何加载随机权重。

提前致谢!

bert-language-model huggingface-transformers

5
推荐指数
1
解决办法
3196
查看次数