为什么我的Perl程序不能在Windows上创建超过4 GB的文件？

Question

使用print输出文件时,为什么文件大小上限为4 GB？我希望通过流输出,应该可以生成任意大小的文件.

更新:ijw和Chas.欧文斯是对的.我认为F:驱动器是NTFS格式化的,但实际上它使用的是FAT32文件系统.我在另一个驱动器上尝试了它,我可以生成一个20 GB的文本文件.在这种情况下没有限制.向所有人道歉.

---

详细信息:在研究如何在Stack Overflow上回答问题时,我需要测量使用Perl读取非常大的文本文件的性能.为了测试读数我需要一个大的文本文件,我写了一个小的Perl脚本来生成文本文件并遇到意想不到的问题.输出文件增长,直到达到4 GB.根据Windows资源管理器,一次运行脚本的大小为4294967269字节(磁盘上为4294967296字节).脚本继续,但文件不再增长.

必不可少的只是一些:

print NUMBERS_OUTFILE $line;

其中$ line是一个长字符串,末尾带有"\n".可以配置线路的长度,这对于这个问题并不重要; 例如250个字符或34000个字符.NUMBERS_OUTFILE是使用以下命令创建的文件句柄:

open ( NUMBERS_OUTFILE,">F:\temp2\out1.txt")

驱动器F:是NTFS格式的,并且与操作系统的磁盘位于单独的物理硬盘上.

是什么原因,是否有解决方法？

---

完整的Perl脚本和BAT驱动程序脚本(使用pre标签格式化的HTML).如果设置了两个环境变量MBSIZE和OUTFILE,则Perl脚本应该能够在除Windows之外的其他平台上保持不变.

平台:ActiveState的Perl 5.10.0; 32位; 构建1004.Windows XP x64 SP2,8 GB RAM,500 GB绿色鱼子酱硬盘.

perl -V 说:

Summary of my perl5 (revision 5 version 10 subversion 0) configuration:
  Platform:
    osname=MSWin32, osvers=5.00, archname=MSWin32-x86-multi-thread
    uname=''
    config_args='undef'
    hint=recommended, useposix=true, d_sigaction=undef
    useithreads=define, usemultiplicity=define
    useperlio=define, d_sfio=undef, uselargefiles=define, usesocks=undef
    use64bitint=undef, use64bitall=undef, uselongdouble=undef
    usemymalloc=n, bincompat5005=undef
  Compiler:
    cc='cl', ccflags ='-nologo -GF -W3 -MD -Zi -DNDEBUG -O1 -DWIN32 -D_CONSOLE -DNO_ST
RICT -DHAVE_DES_FCRYPT -DUSE_SITECUSTOMIZE -DPRIVLIB_LAST_IN_INC -DPERL_IMPLICIT_CONTE
XT -DPERL_IMPLICIT_SYS -DUSE_PERLIO -DPERL_MSVCRT_READFIX',
    optimize='-MD -Zi -DNDEBUG -O1',
    cppflags='-DWIN32'
    ccversion='12.00.8804', gccversion='', gccosandvers=''
    intsize=4, longsize=4, ptrsize=4, doublesize=8, byteorder=1234
    d_longlong=undef, longlongsize=8, d_longdbl=define, longdblsize=10
    ivtype='long', ivsize=4, nvtype='double', nvsize=8, Off_t='__int64', lseeksize=8
    alignbytes=8, prototype=define
  Linker and Libraries:
    ld='link', ldflags ='-nologo -nodefaultlib -debug -opt:ref,icf  -libpath:"D:\Perl\
lib\CORE"  -machine:x86'
    libpth=\lib
    libs=  oldnames.lib kernel32.lib user32.lib gdi32.lib winspool.lib  comdlg32.lib a
dvapi32.lib shell32.lib ole32.lib oleaut32.lib  netapi32.lib uuid.lib ws2_32.lib mpr.l
ib winmm.lib  version.lib odbc32.lib odbccp32.lib msvcrt.lib
    perllibs=  oldnames.lib kernel32.lib user32.lib gdi32.lib winspool.lib  comdlg32.l
ib advapi32.lib shell32.lib ole32.lib oleaut32.lib  netapi32.lib uuid.lib ws2_32.lib m
pr.lib winmm.lib  version.lib odbc32.lib odbccp32.lib msvcrt.lib
    libc=msvcrt.lib, so=dll, useshrplib=true, libperl=perl510.lib
    gnulibc_version=''
  Dynamic Linking:
    dlsrc=dl_win32.xs, dlext=dll, d_dlsymun=undef, ccdlflags=' '
    cccdlflags=' ', lddlflags='-dll -nologo -nodefaultlib -debug -opt:ref,icf  -libpat
h:"D:\Perl\lib\CORE"  -machine:x86'


Characteristics of this binary (from libperl):
  Compile-time options: MULTIPLICITY PERL_DONT_CREATE_GVSV
                        PERL_IMPLICIT_CONTEXT PERL_IMPLICIT_SYS
                        PERL_MALLOC_WRAP PL_OP_SLAB_ALLOC USE_ITHREADS
                        USE_LARGE_FILES USE_PERLIO USE_SITECUSTOMIZE
  Locally applied patches:
        ActivePerl Build 1004 [287188]
        33741 avoids segfaults invoking S_raise_signal() (on Linux)
        33763 Win32 process ids can have more than 16 bits
        32809 Load 'loadable object' with non-default file extension
        32728 64-bit fix for Time::Local
  Built under MSWin32
  Compiled at Sep  3 2008 13:16:37
  @INC:
    D:/Perl/site/lib
    D:/Perl/lib
.

Answer 1

嗯,这很奇怪.至少在OS X和Linux上,限制是由文件系统强加的.也许Win32上的Activestate Perl不支持大文件支持？你能发布跑步的结果perl -V吗？

我们关心的输出部分是

Platform:
osname=MSWin32, osvers=5.00, archname=MSWin32-x86-multi-thread
uname=''
config_args='undef'
hint=recommended, useposix=true, d_sigaction=undef
useithreads=define, usemultiplicity=define
useperlio=define, d_sfio=undef, uselargefiles=define, usesocks=undef
use64bitint=undef, use64bitall=undef, uselongdouble=undef
usemymalloc=n, bincompat5005=undef

具体来说,uselargefiles=define.定义(即打开)此功能的事实意味着Perl将使用无符号的64位整数来进行文件偏移.理论上,这可以使文件最多16艾字节(17,179,869,184千兆字节); 但是,在达到该限制之前,文件系统限制通常会发挥作用.

Answer 2

我认为问题在于,由于文件位置指针的限制为4个字节,因此无法写入4 GB以后的文件位置.即使您正在使用流输出,因为Perl仍然需要跟踪文件位置.

我会尝试使用Win32API :: File - 它允许通过在不同的字段中发送高位4字节的文件位置指针来寻找大于4 GB的位置,并且应该可以很好地使用writeFile()写入输出文件.

Answer 3

这是我发现的一件事(链接):

配置时选项

INSTALL文档描述了几个配置时选项.其中一些将与Cygwin一起使用,其他一些尚不可能.此外,其中一些是实验性的.您可以在"配置"提示时选择一个选项,也可以在命令行上定义(取消定义)符号.

...

• -Duselargefiles

  虽然Win32支持大文件,但Cygwin目前使用32位整数进行内部大小和位置计算.