随机梯度下降是分类器还是优化器？

Question

我是机器学习的新手，我正在尝试分析我的一个项目的分类算法。我SGDClassifier在sklearn图书馆遇到的。但是很多论文都将 SGD 称为一种优化技术。有人可以解释一下是如何SGDClassifier实施的吗？

Answer 1

SGD确实是一种用于查找函数最小值的技术。 SGDClassifier是一个线性分类器（默认情况下sklearn它是一个线性SVM），它使用SGD进行训练（即使用SGD寻找损失的最小值）。根据文档：

SGDClassifier 是一个带有 SGD 训练的线性分类器（SVM、逻辑回归、ao）。

该估计器通过随机梯度下降（SGD）学习实现正则化线性模型：每次估计每个样本的损失梯度，并随着强度计划（也称为学习率）的递减而更新模型。SGD 允许小批量（在线/核外）学习，请参阅partial_fit 方法。为了使用默认学习率计划获得最佳结果，数据应具有零均值和单位方差。

此实现适用于表示为特征的密集或稀疏浮点值数组的数据。其拟合的模型可以通过损失参数来控制；默认情况下，它适合线性支持向量机 (SVM)。