气流集成与BgQuery错误

Question

我已经安装了气流，并且编写了DAG以将MySQL数据与BigQuery集成。

当我运行python脚本时，出现以下错误：

ImportError：无法导入名称GbqConnector

我按照指示将熊猫降级到较旧的版本。当我这样做时，我得到了另一个错误：

ImportError：无法导入名称_test_google_api_imports

编辑：来自x97Core的建议起作用。

我现在有另一个问题。我收到以下错误：

/usr/local/lib/python2.7/dist-packages/airflow/models.py:1927：PendingDeprecationWarning：无效的参数已传递给MySqlToGoogleCloudStorageOperator。在Airflow 2.0中将不再支持传递此类参数。无效的参数为：

*参数：（）

** kwargs：{'google_cloud_storage_connn_id'：'podioGCPConnection'} category = PendingDeprecationWarning

/usr/local/lib/python2.7/dist-packages/airflow/models.py:1927：PendingDeprecationWarning：无效的参数已传递给GoogleCloudStorageToBigQueryOperator。在Airflow 2.0中将不再支持传递此类参数。无效的参数为：

*参数：（）

** kwargs：{'project_id'：'podio-data'} category = PendingDeprecationWarning

根据此链接，问题在于气流与python2和pythn3的兼容性。我试过在两者上运行代码，但是仍然出现相同的错误。 气流mysql到gcp dag错误

有人知道这是否有解决方案吗？

Answer 1

刚遇到这个问题。

降级熊猫版本似乎可行（在Airflow v1.8.0上测试）：

pip install pandas==0.18.1

有关更多详细信息：https : //issues.apache.org/jira/browse/AIRFLOW-1179

或者，如果您使用的是Airflow 1.8.2或更高版本。

pip install pandas-gbq