我想用里面的验证数据来验证我的模型
model.fit(x_train, y_train, batch_size= 50, epochs=1,validation_data=(x_test,y_test))
Run Code Online (Sandbox Code Playgroud)
现在,我想用 batch_size=50 进行训练。我的验证数据 x_test 的长度为 1000。正如我从文档中读取的那样,验证数据在每个时期之后使用进行评估。所以我假设使用了 model.evaluate 方法?但是使用的批量大小是多少?
我的验证数据大于 fit 方法中的 batch_size。
这是如何处理的?
如果只使用训练 batch_size 但验证数据更大,结果会怎样?val_acc 是每个批次的平均值吗?
我想在一批中验证我的所有数据。
我只是想知道如果微调 BERT 模型并保存它,分词器是否会受到某种影响或改变。我是否也需要在本地保存分词器,以便稍后使用保存的 BERT 模型时重新加载它?
我只是做:
bert_model.save_pretrained('./Fine_tune_BERT/')
Run Code Online (Sandbox Code Playgroud)
然后稍后
bert_model = TFBertModel.from_pretrained('./Fine_tune_BERT/')
Run Code Online (Sandbox Code Playgroud)
但我也需要保存标记器吗?或者我可以以正常方式使用它,例如:
tokenizer = BertTokenizer.from_pretrained('bert-base-cased')
Run Code Online (Sandbox Code Playgroud)