相关疑难解决方法(0)

我使用Ambari设置了一个集群(YARN),其中3个虚拟机作为主机.

我在哪里可以找到HADOOP_CONF_DIR的值？

# Run on a YARN cluster
export HADOOP_CONF_DIR=XXX
./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn-cluster \  # can also be `yarn-client` for client mode
  --executor-memory 20G \
  --num-executors 50 \
  /path/to/examples.jar \
  1000

Spark独立模式和本地模式有什么区别？

有人可以提及这些因素的区别吗

• 节点/机器数
• 记忆
• 核心数
• 设定
• 部署方式
• 每种模式的优点
• 什么时候应该使用
• 可能的例子

另外，如果我在单个笔记本电脑上本地运行spark，那么该模式是本地模式还是独立模式？