计算 4TB 文件中的行数的快速方法是什么？

Question

我有一个从 Teradata 记录导出的 4TB 大文本文件，我想知道该文件中有多少记录（在我的例子中是行）。

我怎样才能快速有效地做到这一点？

Answer 1

如果此信息尚未作为单独文件中的元数据出现（或嵌入在数据中，或通过查询导出数据的系统获得），并且如果没有可用的某种描述的索引文件，则计算行数的最快方法是wc -l在文件上使用。

你真的不能更快地做到这一点。

要计算文件中的记录数，您必须知道使用了什么记录分隔符并使用类似的方法awk来计算这些记录。同样，如果此信息尚未作为元数据存储在其他地方，并且无法通过对原始系统的查询获得，并且记录本身尚未在文件中枚举和排序。