标签: ensemble-learning

我的神经网络具有以下架构：

input -> 128x (separate fully connected layers) -> output averaging

我正在使用 ModuleList 来保存完全连接层的列表。这是它在这一点上的样子：

class MultiHead(nn.Module):
    def __init__(self, dim_state, dim_action, hidden_size=32, nb_heads=1):
        super(MultiHead, self).__init__()

        self.networks = nn.ModuleList()
        for _ in range(nb_heads):
            network = nn.Sequential(
                nn.Linear(dim_state, hidden_size),
                nn.Tanh(),
                nn.Linear(hidden_size, dim_action)
            )
            self.networks.append(network)

        self.cuda()
        self.optimizer = optim.Adam(self.parameters())

然后，当我需要计算输出时，我使用一个for ... in构造来执行所有层的前向和后向传递：

q_values = torch.cat([net(observations) for net in self.networks])

# skipped code which ultimately computes the loss I need

self.optimizer.zero_grad()
loss.backward()
self.optimizer.step()

这有效！但我想知道我是否不能更有效地做到这一点。我觉得通过做一个for...in，我实际上是在逐个浏览每个单独的 FC 层，而我希望这个操作可以并行完成。

我正在尝试使用管道来提供集成投票分类器，因为我希望集成学习器使用在不同特征集上训练的模型。为此，我遵循了[1]中提供的教程。

以下是迄今为止我可以开发的代码。

y = df1.index
x = preprocessing.scale(df1)

phy_features = ['A', 'B', 'C']
phy_transformer = Pipeline(steps=[('imputer', SimpleImputer(strategy='median')), ('scaler', StandardScaler())])
phy_processer = ColumnTransformer(transformers=[('phy', phy_transformer, phy_features)])

fa_features = ['D', 'E', 'F']
fa_transformer = Pipeline(steps=[('imputer', SimpleImputer(strategy='median')), ('scaler', StandardScaler())])
fa_processer = ColumnTransformer(transformers=[('fa', fa_transformer, fa_features)])


pipe_phy = Pipeline(steps=[('preprocessor', phy_processer ),('classifier', SVM)])
pipe_fa = Pipeline(steps=[('preprocessor', fa_processer ),('classifier', SVM)])

ens = VotingClassifier(estimators=[pipe_phy, pipe_fa])

cv = KFold(n_splits=10, random_state=None, shuffle=True)
for train_index, test_index in cv.split(x):
    x_train, x_test = x[train_index], x[test_index]
    y_train, y_test = y[train_index], y[test_index]
    ens.fit(x_train,y_train)
    print(ens.score(x_test, …

我想在 scikit-learning 中使用 adaboost 和几个基本估计器进行回归，但我没有找到任何可以做到这一点的类。除了更改源代码之外，还有什么办法可以做到这一点吗？

我一直在研究这个堆叠的例子.在这种情况下,每组K形折叠产生一列数据,并且对于每个分类器重复这一过程.即:混合的矩阵是:

dataset_blend_train = np.zeros((X.shape[0], len(clfs)))
dataset_blend_test = np.zeros((X_submission.shape[0], len(clfs)))

我需要从多类问题中堆叠预测(每个样本编译15个不同的类).这将为每个clf产生n*15矩阵.

这些矩阵是否应该水平连接？或者在应用逻辑回归之前,是否应该以其他方式组合？谢谢.

我正在尝试执行以下操作：

vc = VotingClassifier(estimators=[('gbc',GradientBoostingClassifier()),
                       ('rf',RandomForestClassifier()),('svc',SVC(probability=True))],
                       voting='soft',n_jobs=-1)

params = {'weights':[[1,2,3],[2,1,3],[3,2,1]]}
grid_Search = GridSearchCV(param_grid = params, estimator=vc)
grid_Search.fit(X_new,y)
print(grid_Search.best_Score_)

在此，我想调整参数weights。如果我使用GridSearchCV，它会花费很多时间。因为它需要为每次迭代拟合模型。我猜这不是必需的。最好使用类似于prefit在SelectModelFrom函数中使用的东西from sklearn.model_selection。

还有其他选择还是我误解了什么？

使用插入符号包堆叠时，我在 R 中收到以下错误。

“错误：至少一个类级别不是有效的 R 变量名；这将在生成类概率时导致错误，因为变量名称将转换为 not5, X5sets 。请使用可以用作有效 R 的因子级别变量名称（请参阅 ?make.names 以获取帮助）。”

下面是我试图运行的代码。

library(caretEnsemble)
control <- trainControl(method="repeatedcv", number=10, repeats=3, savePredictions=TRUE, classProbs=TRUE)
algorithmList <- c('rpart', 'knn', 'svmRadial')
set.seed(222)
models <- caretList(Tsets ~ MatchSurface + MatchRound + AgeDiff + SameHand + HeightDiff, data=up_sample, trControl=control, methodList=algorithmList)
results <- resamples(models)

当我删除时classProbs=TRUE，代码会运行，但我想保留它，因为我在此之后尝试运行需要它的其他代码。我的所有变量都是因数或整数，并且我已经更改了所有类，因此它们没有“0”和“1”。因此我无法弄清楚为什么代码不会运行。

我在下面附上了数据结构的图片。如果有人有一些建议，那就太好了。