手动设置 AWS Glue ETL 书签

Question

我的项目正在过渡到新的 AWS 账户，我们正在尝试找到一种方法来保留我们的 AWS Glue ETL 书签。我们有大量已处理的数据，正在将其复制到新帐户，并且希望避免重新处理。

据我了解，Glue 书签只是后端的时间戳，理想情况下我们能够获取旧书签，然后在新 AWS 账户中手动设置匹配作业的书签。

看起来我可以使用以下方法通过 AWS CLI 获取现有书签：

get-job-bookmark --job-name <value>

（来源）

但是，我一直无法找到任何可能在新帐户中设置书签的方法。

就解决方法而言，我最好的选择似乎是：

1. 在 Glue 爬虫上为所有 S3 数据源添加排除模式，但这将不再允许我们通过 Glue 目录（我们目前用于跟踪记录和文件计数）跟踪任何现有的未处理数据。这看起来是迄今为止最好的选择......
2. 尝试在新帐户中抓取旧（复制）数据之前运行 Glue ETL 作业，将书签设置为超过复制 S3 对象的创建时间。然后，一旦我们抓取复制的数据，ETL 作业就会认为它们早于当前书签时间，并且不会在下次运行时处理它们。然而，这个黑客似乎不起作用，因为我在测试时最终处理了所有数据。

这里真的很茫然，AWS Glue 论坛就像一座鬼城，过去没有任何帮助。

Answer 1

我无法使用上述问题中的方法手动设置书签或获取书签来手动进度和跳过数据。

但是，我能够使用以下步骤让 Glue ETL 作业跳过数据并处理其书签：

1. 确保禁用任何 Glue ETL 计划

2. 添加您想要跳过到 S3 的文件

3. 抓取S3数据

4. 注释掉 Glue ETL 作业的 Spark 代码的处理步骤。我只是注释掉了初始动态框架创建之后的所有dynamic_frame步骤，直到job.commit().

   sc = SparkContext()
   glueContext = GlueContext(sc)
   spark = glueContext.spark_session
   job = Job(glueContext)
   job.init(args['JOB_NAME'], args)
   
   # Create dynamic frame from raw glue table
   datasource0 = 
   glueContext.create_dynamic_frame.from_catalog(database=GLUE_DATABASE_NAME, 
   table_name=JOB_TABLE, transformation_ctx="datasource0")
   
   # ~~ COMMENT OUT ADDITIONAL STEPS ~~ #
   
   job.commit()
   

5. 照常运行glue etl 作业并启用书签

6. 将 Glue ETL Spark 代码恢复正常

现在，Glue ETL 作业的书签已取得进展，并且将跳过在步骤 5 中运行的该作业中处理的任何数据。下次将文件添加到 S3 并进行爬网时，Glue ETL 作业将正常处理该文件。

如果您知道自己将获得一些不想处理的数据，或者您要转换到新的 AWS 账户并像我一样复制所有旧数据，这会很有用。如果有一种方法可以在 Glue 中手动设置书签时间，那就太好了，这样就没有必要了。