“python”中的错误：free()：无效指针：0x00007fc3c90dc98e

Question

在 anacondas py3.6 安装中的 ubuntu 服务器（100GB RAM）上以这种方式在 for 循环（7 个文件 * 4GB）中打开多个文件后出现此错误：

temp_df = pd.read_csv(datafolder + str(file), encoding="ISO-8859-1", delimiter=';',low_memory=False)

这是错误，它在我设置后出现

低内存=假

当 low_memory = True 时不会发生

* `python' 中的错误：free()：无效指针：0x00007fc3c90dc98e *

任何想法？谢谢

Answer 1

此问题是由于打开文件时多个线程并行执行引起的，这有时也会导致分段错误。正如您所说，您的文件每个由 4 GB 组成，因此并行执行以读取您的文件的多个线程导致了问题。