小编Arv*_*mar的帖子

我正在使用spark-summit命令执行Spark作业,其参数如下:

spark-submit --master yarn-cluster --driver-cores 2 \
 --driver-memory 2G --num-executors 10 \
 --executor-cores 5 --executor-memory 2G \
 --class com.spark.sql.jdbc.SparkDFtoOracle2 \
 Spark-hive-sql-Dataframe-0.0.1-SNAPSHOT-jar-with-dependencies.jar

现在我想使用Spark的动态资源分配执行相同的程序.在执行Spark程序时,能否帮助您使用动态资源分配.

可以在 spark-submit 命令中指定 num-executors 覆盖已启用的动态分配 (spark.dynamicAllocation.enable true) 吗？

关于Spark数据集，什么是强类型API和无类型API？

数据集如何与数据帧相似/不同？

如何获取有关 Hadoop 集群的以下信息？1. namenode 和 jobtracker 名称 2. 所有节点及其在集群上的角色的列表