相关疑难解决方法(0)

Spark Standalone:

在这种模式下,我意识到您在本地计算机上运行主节点和工作节点.

这是否意味着您在我的本地计算机上运行了YARN的实例？从我安装Spark开始,它就带有Hadoop,而且通常YARN也会随Hadoop一起提供正确的？在这种模式下,我基本上可以模拟一个较小版本的完整集群.

Spark本地模式:

这是我也很困惑的部分.要在这种模式下运行它,我做val conf = new SparkConf().setMaster("local[2]").

在这种模式下,它不使用任何类型的资源管理器(如YARN)正确吗？就像它只是在您提供的线程数中运行Spark Job "local[2]"\？

有人可以提及这些因素的区别吗

• 节点/机器数
• 记忆
• 核心数
• 设定
• 部署方式
• 每种模式的优点
• 什么时候应该使用
• 可能的例子

另外，如果我在单个笔记本电脑上本地运行spark，那么该模式是本地模式还是独立模式？