Hadoop基准测试/性能测试

Sou*_*nis 0 benchmarking hadoop performance-testing

我想在我的Hadoop集群上执行基准测试和性能测试.我知道hadoop-mapreduce*test*.jar和hadoop-mapreduce-examples*.jar有许多用于基准测试的程序.

是否有可用于这些测试的文件,其中提供了每种测试和性能测量的详细信息?此外,在执行任何测试后,是否有可用于比较结果的值?

谢谢.

小智 9

你有HiBench,它包含一些用于基准测试hdfs,hive的工具......你可以在这里找到它:https://github.com/intel-hadoop/HiBench

伯克利大学用hive,impala数据集创建了一个基准...你可以在这里参考:https://amplab.cs.berkeley.edu/benchmark/

Terasort也是一个着名的基准.它包含3个生成数据的程序,并使用MapReduce来测试您的集群.更多信息请访问:http://hadoop.apache.org/docs/current/api/org/apache/hadoop/examples/terasort/package-summary.html