我提交spark job时可以为python代码添加参数吗？

Question

我正在尝试用来spark-submit在spark集群中执行我的python代码.

通常我们spark-submit使用如下的python代码运行.

# Run a Python application on a cluster
./bin/spark-submit \
  --master spark://207.184.161.138:7077 \
  my_python_code.py \
  1000

但我想my_python_code.py通过传递几个参数来运行是否有聪明的方法来传递参数？

Answer 1

即使sys.argv是一个成功的解决方案,我更喜欢这种方法来处理我的Spark作业中的行命令args:

import argparse

parser = argparse.ArgumentParser()
parser.add_argument("--ngrams", help="some useful description.")
args = parser.parse_args()
if args.ngrams:
    ngrams = args.ngrams

然后按如下方式启动您的工作:

spark-submit job.py --ngrams 3

有关argparse模块的更多信息,请参阅Argparse教程

Answer 2

是:将其放在名为args.py的文件中

#import sys
print sys.argv

如果你跑

spark-submit args.py a b c d e 

你会看见:

['/spark/args.py', 'a', 'b', 'c', 'd', 'e']