为spark master指定local [n1,n2,n3]时,这三个参数是什么？

Question

为了发射火花,我看到:

--master local[n1,n2,n3] 

其中n1,n2和n3是整数.

这些是指什么？

Answer 1

主规范在SparkContext.createTaskScheduler中解析.(请参阅实施链接.)可能性local包括:

• local 使用1个线程.
• local[N] 使用N个线程.
• local[*] 使用与核心一样多的线程.
• local[N, M]并且local[*, M]如上所述,但将最大任务失败设置为M.这允许您在本地运行时启用重试.(通常禁用本地重试.启用它们对测试很有用.)
• local-cluster[numSlaves, coresPerSlave, memoryPerSlave]在配置的单独进程中启动执行程序,但它不需要运行工作程序和主服务器.这是在单元测试中模拟集群的轻量级方法.(另见SPARK-595.)