下载和转换大型二进制文件的最快设计是什么?

T.T*_*.T. 3 c++ file visual-studio

我在另一个系统上有一个1GB的二进制文件.

要求:ftp /下载并在主系统上将二进制转换为CSV.

转换后的文件幅度会大~8GB

做与此类似的事情的最常见方式是什么?
这应该是一个两步独立的过程,下载 - 然后转换?
我应该一次下载小块并在下载时进行转换吗?

我不知道这样做最有效的方法......对于这么大的文件,我应该注意什么呢?

任何建议表示赞赏.

谢谢.

(Visual Studio C++)

小智 5

我会编写一个程序,将二进制格式和输出转换为CSV格式.该程序将从stdin读取并写入stdout.

然后我会打电话

wget URL_of_remote_binary_file --output-document=- | my_converter_program > output_file.csv
Run Code Online (Sandbox Code Playgroud)

这样你就可以立即开始转换(无需下载整个文件),你的程序也不会处理网络问题.您也可以在远程端运行该程序,假设它足够便携.