Google Cloud Dataflow 上的内存分析

Question

调试数据流作业的内存问题的最佳方法是什么？

我的工作因 GC OOM 错误而失败，但是当我在本地对其进行分析时，我无法重现确切的场景和数据量。

我现在在“n1-highmem-4”机器上运行它，我再也看不到错误了，但是工作非常慢，所以显然使用具有更多 RAM 的机器不是解决方案:)

感谢您的任何建议，G

Answer 1

请使用选项--dumpHeapOnOOM和--saveHeapDumpsToGcsPath（参见文档）。

这只会在您的一名工人实际上 OOM 时有所帮助。此外jmap -dump PID，如果它不是 OOMing 但如果您观察到高内存使用率，您可以尝试在工作线程上运行线束进程以在运行时获取堆转储。