Hadoop 用于处理非常大的二进制文件

Question

我有一个我希望分发的系统，其中有许多我希望以分布式方式处理的非常大的不可拆分的二进制文件。这些是几百 Gb 的数量级。由于各种固定的、特定于实现的原因，这些文件不能并行处理，而必须由同一进程顺序处理直到结束。

该应用程序是用 C++ 开发的，所以我会考虑使用 Hadoop 管道来传入和传出数据。每个实例都需要按 100Gb 到 200Gb 的顺序处理自己的数据（当前存储在一个文件中），并且应用程序当前（可能）IO 受限，因此每个作业完全在本地运行很重要。

我非常热衷于用 HDFS 来托管这些数据——自动维护冗余副本并在添加新节点时重新平衡的能力将非常有用。我也热衷于 map reduce，因为它计算简单，并且要求尽可能接近数据托管计算。但是，我想知道 Hadoop 对这个特定应用程序有多合适。

我知道为了表示我的数据，可以生成不可拆分的文件，或者生成巨大的序列文件（在我的情况下，单个文件的大小约为 10Tb - 我是否应该将所有数据打包到一）。因此可以使用 Hadoop 处理我的数据。但是，我的模型似乎不太适合 Hadoop：社区是否同意？或者有关于以最佳方式布置这些数据的建议？或者甚至对于可能更适合该模型的其他集群计算系统？

这个问题可能是关于 hadoop 的现有问题的重复，但除了我的系统需要每个单独文件一个或两个数量级的数据（以前我已经看到有关几个 Gb 大小的单个文件的问题） . 因此，如果之前已经回答过这个问题，请原谅我 - 即使对于这种大小的数据。

谢谢，

亚历克斯

Answer 1

看起来您正在处理的大文件数量相对较少。由于您的文件很大且不可拆分，因此 Hadoop 将无法在整个集群中有效地调度和分配作业。我认为您在一批中处理的文件越多（例如数百个），使用 Hadoop 的价值就越大。

由于您只处理几个文件，您是否尝试过更简单的分发机制，例如使用 ssh 或GNU Parallel在多台机器上启动进程？使用这种方法完成简单任务时，我取得了很多成功。在所有节点上使用 NFS 安装驱动器可以共享限制您必须执行的复制量。