Pandas read_csv 可以加载的行数有限制吗？

Question

我正在尝试使用 Pandas read_csv 方法加载 .csv 文件，该文件有 29872046 行，总大小为 2.2G。我注意到大多数加载的行都缺少它们的值，对于大量的列。从 shell 浏览时的 csv 文件包含这些值...加载的文件有任何限制吗？如果没有的话，如何调试呢？谢谢

Answer 1

@d1337,

我想知道你是否有记忆问题。这里有一个暗示。

可能这是相关的或这个。

如果我尝试调试它，我会做简单的事情。将文件切成两半 - 会发生什么？如果可以，则上升 50%，如果不能下降 50%，直到能够确定其发生的点。您甚至可能想从 20 行开始，并确保它与大小相关。

我还会添加操作系统和内存信息以及您在帖子中使用的 Pandas 版本，以防其相关（我正在运行 Pandas 11.0、Python 3.2、Linux Mint x64 和 16G RAM，所以我希望不会出现问题， 说）。此外，您可能还可以发布指向您的数据的链接，以便其他人可以对其进行测试。

希望有帮助。