气流在 Python 运算符之间传递数据帧

Question

我试图寻找这个答案，但找不到任何对我想要做的事情有意义的东西。

我正在尝试创建一个 DAG，它将从 FTP 获取文件并返回一个数据框，清理数据框，然后导入到 SQL。所以它最终看起来像：

connect_to_ftp >> get_file >> clean_dataframe >> import_to_sql

因此，如果我想在一个运算符中获取数据帧，然后将其传递给另一个运算符，我将如何执行此操作？我是使用 xcom 变量，还是应该在代码中创建全局变量？

Answer 1

所以我在文档中阅读： https: //airflow.apache.org/concepts.html#operators

运算符应该是原子的，并且很少互相传递数据。所以我想我想错了？