我想看看 Spark 中是否有类似 AWS Glue“书签”的东西。我知道 Spark 中有一个检查点,它适用于单个数据源。在 Glue 中,我们可以使用书签来使用单个书签来跟踪作业中涉及的不同表中的所有文件。
apache-spark spark-streaming pyspark aws-glue incremental-load
apache-spark ×1
aws-glue ×1
incremental-load ×1
pyspark ×1
spark-streaming ×1