相关疑难解决方法(0)

Spark Standalone,YARN和本地模式有什么区别?

Spark Standalone:

在这种模式下,我意识到您在本地计算机上运行主节点和工作节点.

这是否意味着您在我的本地计算机上运行了YARN的实例?从我安装Spark开始,它就带有Hadoop,而且通常YARN也会随Hadoop一起提供正确的?在这种模式下,我基本上可以模拟一个较小版本的完整集群.

Spark本地模式:

这是我也很困惑的部分.要在这种模式下运行它,我做val conf = new SparkConf().setMaster("local[2]").

在这种模式下,它不使用任何类型的资源管理器(如YARN)正确吗?就像它只是在您提供的线程数中运行Spark Job "local[2]"\

apache-spark

17
推荐指数
2
解决办法
2万
查看次数

0
推荐指数
1
解决办法
1499
查看次数

标签 统计

apache-spark ×2

cluster-computing ×1

mode ×1