Python H2O 内存管理

Question

与此处R 中的这个问题类似，我在 H2O 中使用网格搜索运行循环时出现内存不足问题。在 R 中，在每个循环中执行 gc() 确实有帮助。这里建议的解决方案是什么？

Answer 1

h2o.gc()Python API 中似乎没有任何函数。请参阅“如何调试内存问题？” 在常见问题解答中。GarbageCollect如果您怀疑问题是后端保留了不应再保留的内存，则可以直接使用 REST API 发布该后端命令 ( )。研究详细日志可能有助于确认情况是否如此。

总结评论中的建议：

• 在循环结束时用于h2o.remove()您不再需要的 H2O 框架和模型。
• h2o.removeAll()如果您不需要保留任何东西，则使用它，并且您的循环将重新加载它需要的所有数据。
• 使用H2OGridSearch而不是您自己的循环和您自己的网格代码。

我还要补充一点，cbind、rbind 和任何修改 H2O 帧的函数都会复制整个帧。有时重新考虑数据处理步骤的方式可以减少内存需求。