我正在使用 Apache Airflow 构建 ETL 管道。我必须提取添加到 SQL 数据库的最新数据(比如每天)。因此,我想构造一个查询,如下所示:
SELECT foo
FROM bar
WHERE insert_date >= "DATA_INTERVAL_START_HERE"
AND insert_date < "DATA_INTERVAL_END_HERE"
Run Code Online (Sandbox Code Playgroud)
要在任务中执行此查询(例如使用 pyodbc),我需要访问提取任务内 Dag Run 对象的数据间隔开始和结束时间。我怎样才能检索这些信息?