小编Chu*_*uby的帖子

对大型 CSV 文件 (90GB) 进行排序,超出磁盘配额

这是我现在所做的,

sort -T /some_dir/ --parallel=4 -uo file_sort.csv -k 1,3 file_unsort.csv

该文件是 90GB,我收到此错误消息

sort: close failed: /some_dir/sortmdWWn4: Disk quota exceeded

以前,我没有使用 -T 选项,显然 tmp 目录不足以处理这个问题。我当前的目录有大约 200GB 的可用空间。排序临时文件还不够吗?

我不知道并行选项是否会影响事情。

large-files disk-usage sort parallelism

7
推荐指数
1
解决办法
2274
查看次数

标签 统计

disk-usage ×1

large-files ×1

parallelism ×1

sort ×1