如何对非常大的 CSV 文件进行排序？

Question

我有这个大的 294,000 行 csv，第 1 列中有 url，第 2 列中有数字。

我需要将它们从最小数到最大数排序。我已将它加载到“CSVed”软件中，它可以正常处理，它不会崩溃或发生任何事情，但是当我单击列顶部对其进行排序时，它不会按从小到大的顺序排列，它是一切都混乱了。

谁有想法？我找了一整天，我想我可以在这里问一下。

谢谢。

Answer 1

如果你可以访问unix系统（并且你的url中没有逗号），这应该可以解决问题：

sort -t',' -n -k2 filename

其中-t表示列以逗号分隔，-n表示数据是数字，并-k2表示根据第二列进行排序。

Answer 2

您可以使用 gnu 排序。它占用内存小，甚至可以使用多个CPU进行排序。

sort -t ,  -k 2n file.csv

Gnu 排序在大多数 Linux 发行版中默认可用，MacOS 也默认可用（尽管后来的选项略有不同）。您也可以为 Windows 安装它，例如从CoreUtils for Windows页面安装。

有关排序调用的更多信息，请使用手册