use*_*189 5 apache-spark
我已经spark.cores.max设置为24[3个工作程序节点],但是如果我进入我的工作程序节点并看到只有一个正在运行的进程[command = Java]正在消耗内存和CPU。我怀疑它没有使用全部8个内核m2.4x large。
spark.cores.max
24
m2.4x large
怎么知道这个数字?
Dan*_*pov 3
在Spark Web UI下可以看到集群中每个worker占用的核心数:
归档时间:
11 年,8 月 前
查看次数:
5217 次
最近记录: