相关疑难解决方法(0)

我已经做了一些基本的性能和内存消耗基准测试,我想知道是否有任何方法可以让事情变得更快......

1. 我有一个巨大的70,000元素列表,其中包含numpy ndarray,以及所述列表中元组中的文件路径.

2. 我的第一个版本将列表的切片副本传递给python多进程模块中的每个进程,但是它会将ram使用率扩展到20多GB以上

3. 第二个版本我将它移动到全局空间并通过索引(例如foo [i])在我的每个进程的循环中访问它,这似乎将它放入共享内存区域/ CoW语义中,因此它不会爆炸内存使用率(停留在~3 GB)

4. 然而,根据性能基准测试/追踪,似乎大部分应用时间现在花在"获取"模式上......

所以我想知道是否有任何方式我可以以某种方式将此列表转换为某种无锁/只读,以便我可以取消部分获取步骤,以帮助加快访问速度.

编辑1:这是应用程序概要分析的前几行输出

ncalls  tottime  percall  cumtime  percall filename:lineno(function)
   65 2450.903   37.706 2450.903   37.706 {built-in method acquire}
39320    0.481    0.000    0.481    0.000 {method 'read' of 'file' objects}
  600    0.298    0.000    0.298    0.000 {posix.waitpid}
   48    0.271    0.006    0.271    0.006 {posix.fork}

编辑2:这是列表结构的一个例子:

# Sample code for a rough idea of how the list is constructed
sim = []
for root, dirs, files in os.walk(rootdir):
    path = os.path.join(root, filename)
    image= Image.open(path)
    np_array = …