跨平台应用程序应该允许文本文件获得的合理最大大小是多少？

Question

跨平台应用程序可以允许文本文件获得的合理最大大小是多少？我知道这是一个过于简单的问题,所以请允许我解释一下.

我的团队正在为客户端实现批量加载接口,以将数据加载到我们的数据库中.它将写出一个CSV文件,然后将该文件加载到相应的数据库中(此时为Oracle或SQL Server).我们可以处理相对较多的记录.

在我开始将它们分成多个文本文件之前,我应该对这些文本文件的大小设置任何限制吗？目前,我们正在部署到Linux和Windows,但我们也有开发人员使用OS X.此外,我们的一些客户有这些操作系统的某些日期版本.我想这取决于我们连接的操作系统,文件系统和RDBMS.我没有尝试为每个平台设置限制,而是为了简单起见,我只想有一个总体限制(只要该限制不过度限制).这甚至是必要的,还是我可以设置一个上限？

Answer 1

大多数现代系统都没有处理多GB文件的问题,但如果你想要小心,那么设置2GB的限制会很有用:

• 即使是稍微过时的文件系统也可以存储2GB文件(例如FAT16)
• 可以通过带符号的32位整数来寻址2GB,这种情况比人们想象的更频繁

对于文件系统部分,这种文件系统的比较可能很有用(尽管如此,它列出了很多非常广泛使用的系统).