标签: pre-trained-model

我在范围内创建了一个可训练的变量.后来,我进入相同的范围,设置范围reuse_variables,并用于get_variable检索相同的变量.但是,我无法将变量的可训练属性设置为False.我的get_variable界限如下:

weight_var = tf.get_variable('weights', trainable = False)

但变量'weights'仍在输出中tf.trainable_variables.

我可以使用？设置共享变量的trainable标志吗？Falseget_variable

我想这样做的原因是我试图在我的模型中重用从VGG网络预训练的低级过滤器,我想像以前一样构建图形,检索权重变量,并分配VGG过滤器值到重量变量,然后在下面的训练步骤中保持它们固定.

我正在遵循TensorFlow Retraining for Poets 的说明。GPU 利用率似乎很低，因此我retrain.py按照使用 GPU 中的说明对脚本进行了检测。日志验证了 TF 图是在 GPU 上构建的。我正在重新训练大量的课程和图像。 请帮我调整 TF 中的参数和重新训练脚本以利用 GPU。

我知道这个问题，我应该减少批量大小。这个脚本的“批量大小”由什么构成并不明显。我有 60 个班级和 1MM 的训练图像。它首先制作 1MM 瓶颈文件。那部分是 CPU 并且很慢，我理解这一点。然后它以 4,000 个步骤进行训练，在该步骤中每次需要 100 张图像。这是批次吗？如果我减少每一步的图像数量，GPU 利用率会上升吗？

您的帮助将不胜感激！

我正在尝试重新创建训练模型的预测，但我不知道如何保存模型。例如，我想保存训练好的高斯处理回归器模型并在训练模型后重新创建预测。我用来训练模型的包是 scikit-learn。

kernel = DotProduct() + WhiteKernel()
gpr = GaussianProcessRegressor(kernel=kernel,random_state=0)
gpr.fit(X,y)

我有一些自定义数据想用来进一步预训练BERT 模型。到目前为止，我\xe2\x80\x99已经尝试了以下两种方法：

\n
1. MLM从预训练的 BERT 检查点开始，继续使用 Masked Language Modeling ( ) + Next Sentence Prediction ( ) 头进行预训练NSP（例如使用BertForPreTraining模型）
\n
2. 从具有目标的预训练 BERT 模型开始MLM（例如，使用BertForMaskedLM模型，假设我们不需要 NSP 来进行预训练部分。）
\n

但我\xe2\x80\x99m仍然感到困惑，如果使用BertForPreTraining或BertForMaskedLM实际上对 BERT 进行持续预训练，或者这只是两个分别使用 MLM+NSP 和 MLM 微调 BERT 的模型。使用 MLM+NSP 微调 BERT 或使用这两个头持续预训练之间是否有任何区别，或者这是我们需要测试的东西？

我已经审查了类似的问题，例如这个问题，但我仍然想确保从技术上讲，从初始检查点持续预训练模型与使用相同的目标/头对其进行微调之间是否存在差异。

感谢Google,它提供了一些预先训练好的模型和tensorflow API.

我想知道如何通过向模型中添加新类来重新训练从上述存储库中获得的预训练模型.例如,COCO数据集训练模型有90个类,我想将1或2个类添加到现有类中,结果得到一个92类对象检测模型.

本地运行由存储库提供,但它完全用新训练的类替换那些预训练的类,只提到列车和评估.

那么,有没有其他方法来重新训练模型并获得92个课程？

我是一个初学者，对于如何选择可以改善我的模型的预训练模型，我感到非常困惑。

我正在尝试使用模型的预训练权重创建猫品种分类器，比如说在数字数据集上训练的VGG16，这会改善模型的性能吗？或者如果我仅在数据库上训练模型而不使用其他权重会更好，或者两者都与那些预先训练的权重相同只是一个起点。

另外，如果我使用针对猫和狗数据训练的VGG16的权重作为我的猫品种分类模型的起点，这将有助于我改进模型吗？

我想以顺序方式训练模型。那就是我想最初用一个简单的架构训练模型，一旦训练好，我想添加几个层并继续训练。可以在 Keras 中做到这一点吗？如果是这样，如何？

我试图修改模型架构。但是在我编译之前，这些更改都无效。一旦我编译，所有的权重都会重新初始化，我会丢失所有经过训练的信息。

我在 web 和 SO 中发现的所有问题要么是关于加载预训练模型并继续训练，要么是修改预训练模型的架构，然后仅对其进行测试。我没有找到与我的问题相关的任何内容。任何指针也受到高度赞赏。

PS：我在 tensorflow 2.0 包中使用 Keras。

所以我没有标签的单词很少，但我需要将它们分为 4-5 类。我可以明显地说这个测试集是可以分类的。虽然我没有训练数据，所以我需要使用预训练的模型来对这些单词进行分类。哪种模型适合这种范式以及它已经在哪个数据集上进行了训练？

谢谢

我想预训练一个模型，然后用另一个模型训练它。

我有模型Decision Tree Classifer，然后我想用 model 进一步训练它LGBM Classifier。在 scikit learn 中是否有可能做到这一点？我已经读过这篇关于它的文章https://datascience.stackexchange.com/questions/28512/train-new-data-to-pre-trained-model。。帖子里说

根据官方文档，多次调用 fit() 将会覆盖之前的 fit() 学到的内容

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=1) 

# Train Decision Tree Classifer
clf = DecisionTreeClassifier()
clf = clf.fit(X_train,y_train)

lgbm = lgb.LGBMClassifier()
lgbm = lgbm.fit(X_train,y_train)

#Predict the response for test dataset
y_pred = lgbm.predict(X_test)

给定 Pytorch 中的一个简单神经网络，例如：

import torch.nn as nn

net = nn.Sequential(
      nn.Linear(3, 4),
      nn.Sigmoid(),
      nn.Linear(4, 1),
      nn.Sigmoid()
      ).to(device)

如何将其转换为 Huggingface PreTrainedModel对象？

目标是将 Pytorchnn.Module对象转换nn.Sequential为 HuggingfacePreTrainedModel对象，然后运行如下所示的代码：

import torch.nn as nn
from transformers.modeling_utils import PreTrainedModel


net = nn.Sequential(
      nn.Linear(3, 4),
      nn.Sigmoid(),
      nn.Linear(4, 1),
      nn.Sigmoid()
      ).to(device)

# Do something to convert the Pytorch nn.Module to the PreTrainedModel object.
shiny_model = do_some_magic(net, some_args, some_kwargs)

# Save the shiny model that is a `PreTrainedModel` object.
shiny_model.save_pretrained("shiny-model")

PreTrainedModel.from_pretrained("shiny-model")

似乎要将任何本机 Pytorch 模型构建/转换为 …