Sit*_*ite 3 machine-learning backpropagation neural-network tic-tac-toe
我一直在尝试使用多层感知器和反向传播来编写一个用于tic tac toe的AI.我的想法是训练神经网络成为电路板状态的准确评估函数,但问题是即使在分析了数千个游戏之后,网络也没有输出准确的评估.
我正在使用27个输入神经元; 3x3板上的每个方块与三个输入神经元相关联,这三个输入神经元接收0或1的值,具体取决于方块是否具有x,o或空白.这27个输入神经元向10个隐藏的神经元发送信号(我任意选择10个,但我也试过了5个和15个).
对于训练,我已经让程序通过使用当前评估函数对自己进行比赛来生成一系列游戏,以选择被认为是每一方的最佳移动.在生成游戏之后,NN通过将给定板状态的正确输出作为其后面的板状态的值(使用评估函数)来编译训练示例(其包括板状态和正确的输出).游戏序列.我认为这是Gerald Tesauro在编写TD-Gammon时所做的,但我可能误解了这篇文章.(注意:我在本文的底部放置了更新权重的具体机制).
我已经尝试了各种学习率的值,以及不同数量的隐藏神经元,但似乎没有任何效果.即使经过数小时的"学习",战略上也没有明显的改进,评估功能也不会接近准确.
我意识到有更简单的方法来编写tic tac toe,但是我想用多层感知器做这件事,这样我以后可以将它应用于连接4.这甚至可能吗？我开始认为对于具有合理数量的隐藏神经元的tic tac toe板没有可靠的评估功能.
我向你保证,我不是在寻找一些快速的代码来完成家庭作业.我已经有一段时间没有成功工作,只想知道我做错了什么.所有建议表示赞赏.
这是我用于NN的具体机制:
27个输入神经元中的每一个接收0或1,其通过可微分的S形函数1 /(1 + e ^( - x)).每个输入神经元i发送此输出(i.output),乘以一些权重(i.weights [h])到每个隐藏的神经元h.这些值的总和被隐藏神经元h(h.input)作为输入,并且该输入通过sigmoid以形成每个隐藏神经元(h.output)的输出.我将lastInput表示为所有隐藏神经元中(h.output*h.weight)的总和.然后,板的输出值是sigmoid(lastInput).
我将学习率表示为alpha,并将错误表示为正确的输出减去实际输出.另外,我让dSigmoid(x)等于x点处的sigmoid的导数.
每个隐藏神经元h的权重增加值:(alpha*err*dSigmoid(lastInput)*h.output)并且从给定输入神经元i到给定隐藏神经元h的信号的权重增加该值:(alpha*err*dSigmoid(lastInput)*h.weight*dSigmoid(h.input)*i.output).
我从这个关于反向传播的讲座中得到了这些公式:http://www.youtube.com/watch？v = UnWL2w7Fuo8 .
Tic tac toe有3 ^ 9 = 19683个州(实际上,其中一些不合法,但数量级是正确的).输出功能不顺畅,所以我认为反向传播网络能做的最好的就是"死记硬背学习"所有这些状态的查找表.
考虑到这一点,10个隐藏的神经元似乎非常小,并且你无法通过教授几千个游戏来训练20k个不同的查找表条目.为此,网络必须从已经教过的状态"推断"它从未见过的状态,我不知道它是如何做到的.