在机器学习中使用反馈或强化？

Question

我正在尝试解决一些分类问题.似乎许多经典方法遵循类似的范例.也就是说,训练具有一些训练集的模型,而不是使用它来预测新实例的类标签.

我想知道是否有可能在范式中引入一些反馈机制.在控制理论中,引入反馈回路是提高系统性能的有效方法.

目前我想到的是一种直接的方法,首先我们从一组初始实例开始,然后用它们训练模型.然后,每次模型做出错误预测时,我们都会将错误的实例添加到训练集中.这与盲目扩大训练集不同,因为它更具针对性.这可以看作是控制理论语言中的某种负反馈.

是否有任何关于反馈方法的研究？谁能解开一些光明？

Answer 1

脑海中浮现出两个研究领域.

首先是强化学习.这是一种在线学习范例,可让您在观察结果时获得反馈并更新您的策略(在本例中为分类器).

第二种是主动学习,其中分类器从未分类的示例池中选择示例以进行标记.关键是让分类器选择标记的例子,通过在当前分类器假设下选择困难的例子来最好地提高其准确性.

Answer 2

我在我从事的每个机器学习项目中都使用了这样的反馈。与随机选择数据相比，它允许使用更少的数据进行训练（因此训练速度更快）。与使用随机选择的训练数据相比，模型精度的提高也更快。我正在研究图像处理（计算机视觉）数据，因此我正在做的另一种类型的选择是添加聚集的错误（错误）数据，而不是添加每个错误数据。这是因为我假设我总会遇到一些失败，所以我对正数据的定义是当它聚集在图像的同一区域时。