我有 60TB 的数据驻留在 12 个 csv 文件中。
数据将被加载到集群数据库中，其中加载过程是单线程的。为了提高我的加载性能，我需要从每个节点启动一个加载过程。
从这个角度来看，到目前为止还不错。我最大的问题是如何拆分这些数据？它是压缩的，每个 csv 文件都有大约 5TB 的数据！我试过拆分，但时间太长了！
linux csv
csv ×1
linux ×1