.csv文件是否存在最大文件大小硬限制？

Question

不知怎的,我们的一个批次昨晚失败了,原本生成的文件大小为500mb,其中有大约500,000条记录(行).

只是想知道,.csv文件有任何文件大小的硬限制吗？

我知道Excel应用程序有60k行硬限制,但那就是开放.

Answer 1

文件系统上任何文件的最大文件大小由文件系统本身决定 - 而不是由文件类型或文件名后缀决定.所以答案是否定的.

但是,正如您所说,您用于处理文件的应用程序可能存在限制.

Answer 2

根据您处理CSV文件的方式,您可能会遇到包含大文件的内存和/或CPU瓶颈.

此外,在32位Linux系统上,存在2GB的文件大小限制,这将限制您的最大可用CSV大小,无论您的CPU功率和内存如何.话虽如此,那么大的CSV文件是一个好兆头,你应该考虑一个更有效和更强大的解决方案来处理你的数据,如数据库系统.