AWS Glue:使用pyspark从脚本内获取job_id

Zei*_*ist 2 amazon-web-services aws-glue

我正在尝试从该作业的脚本访问AWS ETL Glue作业ID。您可以在AWS Glue控制台的第一列中看到RunID,类似于jr_5fc6d4ecf0248150067f2。如何使用pyspark以编程方式获取它?

小智 7

我没有在任何地方找到此文档,但已将其作为命令行参数传递。

import sys
from awsglue.utils import getResolvedOptions

args = getResolvedOptions(sys.argv, ['JOB_NAME'])
job_run_id = args['JOB_RUN_ID']
Run Code Online (Sandbox Code Playgroud)