Perl和流程管理

sno*_*kin 4 memory parallel-processing perl ipc process

我正在使用Perl开发一个非常大的企业应用程序,有几十个模块等,主要用于通过Web抓取一些东西.

我写的一个子程序是进行图像检索和分析.对于我发送给它的每个参数,通常需要几秒钟才能完成.所以我将它发送到另一个进程(分叉...).问题是,经过一段时间后系统变得非常不稳定,内存已经填满.

问题:

  1. 是因为创建了每个进程,在单独的内存位置创建父数据的副本?如果是这样,是否意味着每个孩子都拥有所有模块的副本?(还有几十......)
  2. 释放这些内存/管理这些过程的最佳方法是什么?

fri*_*edo 6

forking使用copy-on-write,因此分叉进程不应该占用太多内存,除非它们特别长寿.

听起来你的系统中有内存泄漏.您是否有任何相互递归的依赖关系或循环数据结构?如果是这样,您可能希望使用Scalar :: Util :: weaken来调整数据结构的引用计数.