当蒙特卡洛树搜索达到内存限制时该怎么办

Question

最近，我对在游戏中应用的蒙特卡洛树搜索产生了兴趣。

我已经阅读了几篇论文，但是我使用Chaslot，G的博士学位论文“ Monte-Carlo Tree Search”，因为我发现更容易理解蒙特卡洛树搜索的基础

我已尝试对其进行编码，并遇到了某些问题。该算法尝试针对每一次仿真将一个节点扩展到游戏树中。这很快升级为内存问题。我已经快速阅读了该论文，但似乎并没有解释该技术在达到一定内存限制时将如何处理。

您能建议该技术达到一定内存限制时该怎么办吗？

Answer 1

一种非常有效的方法是放慢树的生长速度。也就是说，不是每次到达叶节点时都扩展树，而是在它至少有k个时扩展它访问后扩展它。这将显着减慢树的生长速度，并且通常不会降低性能。Fuego Go 程序的一位作者告诉我，他尝试了这种方法，并且在实践中效果很好。

\n\n

这个想法最初是在这篇论文中描述的：

\n\n

雷米·库洛姆. 蒙特卡罗树搜索中的高效选择性和备份算子。在计算机和游戏中，第 72\xe2\x80\x9383 页。施普林格，2007。

\n\n

它还被用于：

\n\n

马克斯·罗斯克和内森·斯图尔特文特。使用残局数据库对中国跳棋的 UCT 增强，IJCAI 计算机游戏研讨会，2013 年。

\n

Answer 2

您可以丢弃所有访问次数小于最近未访问的阈值（多少次播放前）的节点。这是一个快速但效率不高的解决方案。最好也实施渐进式拓宽。