问候,
我接管了之前的团队并编写了处理csv文件的ETL作业.我在ubuntu上使用了shell脚本和perl的组合.csv文件很大; 他们以压缩档案的形式到达.解压缩,很多都超过30Gb - 是的,那是G
传统进程是在cron上运行的批处理作业,它完全解压缩每个文件,读取并将其第一行复制到配置文件中,然后重新压缩整个文件.有些日子,这需要很多小时的处理时间,没有任何好处.
你能否建议一种方法只从压缩档案中的每个文件中提取第一行(或前几行),而不完全解压缩档案？
gzip 文件格式包含在压缩文件的最后 4 个字节中编码的（未压缩/原始）文件大小。“gzip -l”命令报告压缩和未压缩的大小、压缩率、原始文件名。
环顾 stackoverflow，有几次提到解码最后 4 个字节中编码的大小。
大小的编码是什么？Big-endian（最高有效字节在前）、Little-endian（最低有效字节在前），值是有符号还是无符号？
这段代码片段似乎对我有用，
FILE* fh; //assume file handle opened
unsigned char szbuf[4];
struct stat statbuf;
fstat(fn,&statbuf);
unsigned long clen=statbuf.st_size;
fseek(fh,clen-4,SEEK_SET);
int count=fread(szbuf,1,4,fh);
unsigned long ulen = ((((((szbuf[4-1] << 8) | szbuf[3-1]) << 8) | szbuf[2-1]) << 8) | szbuf[1-1]);
这里有几个相关的帖子，似乎暗示了小端和无符号长（0..4GB-1）。