使用 ND4J 和 Flink,我有一个处理函数,它接收 POJO,使用 linalg ndarray 使用一堆数学计算结果,并输出 pojo。当使用 Linux CPU 后端在集群上运行程序时,无论是否有 avx512,我都可以看到内存使用量只会上升。nd4j 计算的进程函数似乎存在内存泄漏。我没有在该方法之外保留任何引用,因此没有理由不释放内存 GC 被调用,但它不会释放太多内存。我也尝试过使用工作区功能,但它没有改变任何东西
我尝试过更改 GC、更改堆/堆外大小、设置 bytedeco 的 maxbytes 和 maxphysicalbytes、使用工作区,但没有任何帮助