我有一个数据源,每天都会提供一个大的 .txt 文件(50-75GB)。该文件包含多个不同的模式,其中每一行对应一个模式。我想将其拆分为每个模式的分区数据集,如何有效地做到这一点?
palantir-foundry foundry-code-repositories
foundry-code-repositories ×1
palantir-foundry ×1