为什么可以';我的Perl程序不能在Windows上创建超过4GB的文件吗?
为什么输出到服务器时文件大小限制为4 GB 文件是否使用打印?我希望通过流式输出实现这一点 应该可以生成任意大小的文件 更新:并且是正确的。我以为F:drive是NTFS格式的,但实际上它使用了FAT32文件系统。我 在另一个驱动器上试用,我可以生成20 GB的文本 文件在这种情况下没有限制。向所有人道歉为什么可以';我的Perl程序不能在Windows上创建超过4GB的文件吗?,windows,perl,large-files,Windows,Perl,Large Files,为什么输出到服务器时文件大小限制为4 GB 文件是否使用打印?我希望通过流式输出实现这一点 应该可以生成任意大小的文件 更新:并且是正确的。我以为F:drive是NTFS格式的,但实际上它使用了FAT32文件系统。我 在另一个驱动器上试用,我可以生成20 GB的文本 文件在这种情况下没有限制。向所有人道歉 详细信息:在这里搜索回答问题时 我需要堆栈溢出来衡量 使用Perl读取非常大的文本文件。为了测试 阅读我需要一个大的文本文件,我写了一个小的 Perl脚本生成文本文件并运行到 意想不到的问题
详细信息:在这里搜索回答问题时 我需要堆栈溢出来衡量 使用Perl读取非常大的文本文件。为了测试 阅读我需要一个大的文本文件,我写了一个小的 Perl脚本生成文本文件并运行到 意想不到的问题。输出文件将增长到4 国标。根据Windows资源管理器,一次运行的 脚本为4294967269字节(磁盘上为4294967296字节)。 脚本将继续,但文件不再增长 重要的是,它只是以下几个方面:
print NUMBERS_OUTFILE $line;
其中,$line是一个长字符串,末尾带有“\n”。这个
线路的长度可以配置,并且对于用户来说并不重要
这个问题;e、 g.250个字符或34000个字符。
数字输出文件是一个文件句柄,创建时使用:
open ( NUMBERS_OUTFILE,">F:\temp2\out1.txt")
驱动器F:是NTFS格式的,并且位于单独的物理驱动器上
从带有操作系统的磁盘中取出硬盘
原因是什么?是否有解决办法
完整的和(HTML格式) 预标记)。如果两个环境变量MBSIZE和 如果设置了OUTFILE,那么Perl脚本应该能够运行 在Windows以外的其他平台上保持不变 平台:ActiveState的Perl5.10.0;32位;建造1004。 Windows XP x64 SP2,8 GB RAM,500 GB绿色鱼子酱 硬盘
perl-V
说:
Summary of my perl5 (revision 5 version 10 subversion 0) configuration:
Platform:
osname=MSWin32, osvers=5.00, archname=MSWin32-x86-multi-thread
uname=''
config_args='undef'
hint=recommended, useposix=true, d_sigaction=undef
useithreads=define, usemultiplicity=define
useperlio=define, d_sfio=undef, uselargefiles=define, usesocks=undef
use64bitint=undef, use64bitall=undef, uselongdouble=undef
usemymalloc=n, bincompat5005=undef
Compiler:
cc='cl', ccflags ='-nologo -GF -W3 -MD -Zi -DNDEBUG -O1 -DWIN32 -D_CONSOLE -DNO_ST
RICT -DHAVE_DES_FCRYPT -DUSE_SITECUSTOMIZE -DPRIVLIB_LAST_IN_INC -DPERL_IMPLICIT_CONTE
XT -DPERL_IMPLICIT_SYS -DUSE_PERLIO -DPERL_MSVCRT_READFIX',
optimize='-MD -Zi -DNDEBUG -O1',
cppflags='-DWIN32'
ccversion='12.00.8804', gccversion='', gccosandvers=''
intsize=4, longsize=4, ptrsize=4, doublesize=8, byteorder=1234
d_longlong=undef, longlongsize=8, d_longdbl=define, longdblsize=10
ivtype='long', ivsize=4, nvtype='double', nvsize=8, Off_t='__int64', lseeksize=8
alignbytes=8, prototype=define
Linker and Libraries:
ld='link', ldflags ='-nologo -nodefaultlib -debug -opt:ref,icf -libpath:"D:\Perl\
lib\CORE" -machine:x86'
libpth=\lib
libs= oldnames.lib kernel32.lib user32.lib gdi32.lib winspool.lib comdlg32.lib a
dvapi32.lib shell32.lib ole32.lib oleaut32.lib netapi32.lib uuid.lib ws2_32.lib mpr.l
ib winmm.lib version.lib odbc32.lib odbccp32.lib msvcrt.lib
perllibs= oldnames.lib kernel32.lib user32.lib gdi32.lib winspool.lib comdlg32.l
ib advapi32.lib shell32.lib ole32.lib oleaut32.lib netapi32.lib uuid.lib ws2_32.lib m
pr.lib winmm.lib version.lib odbc32.lib odbccp32.lib msvcrt.lib
libc=msvcrt.lib, so=dll, useshrplib=true, libperl=perl510.lib
gnulibc_version=''
Dynamic Linking:
dlsrc=dl_win32.xs, dlext=dll, d_dlsymun=undef, ccdlflags=' '
cccdlflags=' ', lddlflags='-dll -nologo -nodefaultlib -debug -opt:ref,icf -libpat
h:"D:\Perl\lib\CORE" -machine:x86'
Characteristics of this binary (from libperl):
Compile-time options: MULTIPLICITY PERL_DONT_CREATE_GVSV
PERL_IMPLICIT_CONTEXT PERL_IMPLICIT_SYS
PERL_MALLOC_WRAP PL_OP_SLAB_ALLOC USE_ITHREADS
USE_LARGE_FILES USE_PERLIO USE_SITECUSTOMIZE
Locally applied patches:
ActivePerl Build 1004 [287188]
33741 avoids segfaults invoking S_raise_signal() (on Linux)
33763 Win32 process ids can have more than 16 bits
32809 Load 'loadable object' with non-default file extension
32728 64-bit fix for Time::Local
Built under MSWin32
Compiled at Sep 3 2008 13:16:37
@INC:
D:/Perl/site/lib
D:/Perl/lib
.
我想“32位”部分就是问题所在。。。32位数字中可以表示的最大数字约为4 GB()
--编辑--
我实际上不是指文件系统限制,而是指Perl限制。因为它是在32位上编译的,只能访问4GB的raRAM。据我所知,NTFS确实有8GB左右的限制,并使用某种窗口方法来读取这些文件。但那是另一回事。我想“32位”部分就是问题所在。。。32位数字中可以表示的最大数字约为4 GB()
--编辑--
我实际上不是指文件系统限制,而是指Perl限制。因为它是在32位上编译的,只能访问4GB的raRAM。据我所知,NTFS确实有8GB左右的限制,并使用某种窗口方法来读取这些文件。但这是另一种情况。我认为问题在于,由于文件位置指针的4字节限制,无法写入超过4 GB的文件位置。即使您使用的是流式输出,Perl仍然必须跟踪文件位置
我会尝试改用它-它允许通过在不同字段中发送文件位置指针的高阶4字节来查找大于4 GB的位置,并且使用
writeFile()应该可以很好地工作
写入输出文件。我认为问题在于,由于文件位置指针的4字节限制,无法写入超过4 GB的文件位置。即使您使用的是流式输出,Perl仍然必须跟踪文件位置
我会尝试改用-它允许通过在不同字段中发送文件位置指针的高阶4字节来查找大于4 GB的位置,并且使用writeFile()
写入输出文件应该可以很好地工作。我发现了一件事():
配置时间选项
安装文档介绍了几个配置时间选项。一些
这些将与Cygwin一起工作,其他的还不可能。还有,一些
这些都是实验性的。您可以在配置时选择一个选项
提示您或您可以在命令行上定义(取消定义)符号
- -杜塞拉格档案 虽然Win32支持大文件,但Cygwin目前使用32位 用于内部大小和位置计算的整数
- -杜塞拉格档案 虽然Win32支持大文件,但Cygwin目前使用32位 用于内部大小和位置计算的整数
- 我发现了一件事():
配置时间选项
安装文档介绍了几个配置时间选项。一些
这些将与Cygwin一起工作,其他的还不可能。还有一些
这些都是实验性的。您可以在配置时选择一个选项
提示您或您可以在命令行上定义(取消定义)符号
- 嗯,这很奇怪。至少在OSX和Linux上,限制是由文件系统施加的。可能Win32上的Activestate Perl未使用大文件支持编译?您可以发布运行
perl-V
的结果吗
我们关心的产出部分是
Platform:
osname=MSWin32, osvers=5.00, archname=MSWin32-x86-multi-thread
uname=''
config_args='undef'
hint=recommended, useposix=true, d_sigaction=undef
useithreads=define, usemultiplicity=define
useperlio=define, d_sfio=undef, uselargefiles=define, usesocks=undef
use64bitint=undef, use64bitall=undef, uselongdouble=undef
usemymalloc=n, bincompat5005=undef
具体来说,
uselagefiles=define
。定义(即打开)此功能意味着Perl将使用无符号64位整数作为文件偏移量。从理论上讲,这可以使文件达到16 EB(17179869184 GB);然而,文件系统的限制通常在达到该限制之前就开始发挥作用。嗯,这很奇怪。至少在OSX和Linux上,限制是由文件系统施加的。可能Win32上的Activestate Perl未使用大文件支持编译?您可以发布运行perl-V
的结果吗
我们关心的产出部分是
Platform:
osname=MSWin32, osvers=5.00, archname=MSWin32-x86-multi-thread
uname=''
config_args='undef'
hint=recommended, useposix=true, d_sigaction=undef
useithreads=define, usemultiplicity=define
useperlio=define, d_sfio=undef, uselargefiles=define, usesocks=undef
use64bitint=undef, use64bitall=undef, uselongdouble=undef
usemymalloc=n, bincompat5005=undef
具体来说,uselagefiles=define
。定义(即打开)此功能意味着Perl将使用无符号64位整数作为文件偏移量。从理论上讲,这可以使文件达到16 EB(17179869184 GB);然而,文件系统的限制经常会出现