进化计算能否成为强化学习的一种方法？

Question

什么是进化计算？这是强化学习的方法吗？还是单独的机器学习方法？或许没有？

请引用用于回答此问题的参考文献.

Answer 1

有一些明确旨在解决强化学习问题的进化方法.子字段通常以学习分类系统(LCS)或偶尔基于遗传学的机器学习(GBML)的名称命名.

除此之外,我不确定你的问题有一个非常明确的答案.它基本归结为"什么是机器学习？" 我们都没有就如何回答这个问题达成一致意见.对于某些人来说,EC可能是该子域的一部分.对于其他人,事实并非如此.我刚从架子上抽取了一些ML教科书,其中大约一半包含了关于进化方法的材料.我怀疑15年前这个比例会更高,但时尚会发生变化,机器学习现在几乎是统计学的一个子领域.EC方法不能很好地适应这种模具.

Answer 2

进化计算或进化算法是优化算法,当应用于神经网络时(如在神经演化中),当然可以归类为强化学习的一种形式,尽管它与通常的强化学习算法有点不同.

通常,在遗传算法或进化策略等进化算法中,您需要对整个群体进行优化.对于这些个体中的每一个,使用质量函数来确定它们的"适应性"(如"适者生存"),并且为下一代选择最佳个体.那些"父母"随后被随机复制,修改,变异,甚至彼此重新组合 - 在不同的算法中,这样做的确有些不同.最后,那些新的突变和/或重组的亲本形成下一代的群体,并且该过程再次开始,直到达到一些期望的质量或质量水平.

在神经进化的情况下,个体是神经网络,其通过随机改变的权重进行突变(而在经典神经网络中,权重根据非常精确的数学规则进行更新)或甚至改变其拓扑结构和个体的质量.取决于他们对训练数据的表现.

对不起,这里没有硬性的科学参考,但也许这仍然有助于清理一些事情.

Answer 3

强化学习[1]和进化计算[2]之间的主要区别在于原始意义上的RL应用于环境中的代理,学习策略(也参见维基百科关于强化学习的文章),而EC则更多一类搜索算法的通用术语,它使用"进化"激发的方法来优化搜索.我根本不会将EC归类为机器学习,而且我还没有找到可用的源代码.

[1]强化学习:介绍 - RS Sutton,AG Barto - 1998 - Cambridge Univ Press

[2]什么是进化计算？ - DB Fogel - Spectrum,IEEE,2000