小编Tia*_*Tia的帖子

气流集成与BgQuery错误

我已经安装了气流,并且编写了DAG以将MySQL数据与BigQuery集成。

当我运行python脚本时,出现以下错误:

ImportError:无法导入名称GbqConnector

我按照指示将熊猫降级到较旧的版本。当我这样做时,我得到了另一个错误:

ImportError:无法导入名称_test_google_api_imports

编辑:来自x97Core的建议起作用。

我现在有另一个问题。我收到以下错误:

/usr/local/lib/python2.7/dist-packages/airflow/models.py:1927:PendingDeprecationWarning:无效的参数已传递给MySqlToGoogleCloudStorageOperator。在Airflow 2.0中将不再支持传递此类参数。无效的参数为:

*参数:()

** kwargs:{'google_cloud_storage_connn_id':'podioGCPConnection'} category = PendingDeprecationWarning

/usr/local/lib/python2.7/dist-packages/airflow/models.py:1927:PendingDeprecationWarning:无效的参数已传递给GoogleCloudStorageToBigQueryOperator。在Airflow 2.0中将不再支持传递此类参数。无效的参数为:

*参数:()

** kwargs:{'project_id':'podio-data'} category = PendingDeprecationWarning

根据此链接,问题在于气流与python2和pythn3的兼容性。我试过在两者上运行代码,但是仍然出现相同的错误。 气流mysql到gcp dag错误

有人知道这是否有解决方案吗?

python pandas google-bigquery airflow apache-airflow

3
推荐指数
1
解决办法
1738
查看次数