相关疑难解决方法(0)

我提交spark job时可以为python代码添加参数吗?

我正在尝试用来spark-submit在spark集群中执行我的python代码.

通常我们spark-submit使用如下的python代码运行.

# Run a Python application on a cluster
./bin/spark-submit \
  --master spark://207.184.161.138:7077 \
  my_python_code.py \
  1000
Run Code Online (Sandbox Code Playgroud)

但我想my_python_code.py通过传递几个参数来运行是否有聪明的方法来传递参数?

python apache-spark cluster-mode

27
推荐指数
2
解决办法
3万
查看次数

标签 统计

apache-spark ×1

cluster-mode ×1

python ×1