Airflow 在任务之间传输数据，而不在阶段之间存储数据

Question

我想知道如何在任务之间传输数据而不将它们存储在任务之间。附图可以找到任务流程。截至目前，我将每个任务的输出 csv 文件作为文件存储在本地计算机中，并再次获取此 csv 文件作为下一个任务的输入。我想知道是否有其他方法可以在任务之间传递数据而不在每个任务后存储数据。我做了一些研究，发现了Xcoms。我想确定Xcoms是否是实现这一目标的正确方法，还是我错了。我找不到任何实际的例子。任何帮助将不胜感激，因为我只是气流方面的新手，刚开始几天

Answer 1

简短的回答是否定的，任务要求数据在移动到嵌套任务之前处于静止状态。Xcom 最适合可以在任务之间共享的短字符串（文件目录、对象名称等）。当前在任务之间将数据存储在 csv 文件中的流程是运行流程的最佳方式。