小编Ism*_*han的帖子

如何为紧密防火墙配置Apache Spark随机工作端口?

我正在使用Apache Spark来运行机器学习算法和其他大数据任务.以前,我在同一台机器上使用运行spark master和worker的spark cluster standalone模式.现在,我添加了多个工作机器,由于防火墙严密,我必须编辑worker的随机端口.任何人都可以帮助如何更改随机火花端口,并告诉我究竟需要编辑什么配置文件?我读了spark文档,它说spark-defaults.conf应该配置,但我不知道如何配置这个文件,特别是改变spark的随机端口.

configuration ports worker apache-spark

7
推荐指数
2
解决办法
1万
查看次数

标签 统计

apache-spark ×1

configuration ×1

ports ×1

worker ×1