__init__.py 中的 google.cloud 命名空间导入错误

Question

我已经阅读了至少十几个不同的 stackoverflow 问题，这些问题都提出了相同的基本问题并具有相同的基本答案：模块未正确安装或 OP 导入错误。

在这种情况下，我正在尝试执行from google.cloud import secretmanager_v1beta1.

当我跑步airflow dags或跑步时，它在我的气流容器中工作pytest tests/dags/test_my_dag.py。但是，如果我运行cd dags; python -m my_dag或出现cd dags; python my_dag.py此错误：

from google.cloud import secretmanager as secretmanager
ImportError: cannot import name 'secretmanager' from 'google.cloud' (unknown location)

我可以from google.cloud import bigquery在该行正上方的行中添加，并且可以正常工作。从字面上看，这似乎只是这个特定包的问题。

为什么pytest和airflow命令成功很重要？因为，我有另一个环境，我试图从命令行运行数据流作业，但我遇到了同样的错误。不幸的是，出于多种原因，我认为我无法在该环境中绕过此错误。

更新 6

我已将错误范围缩小到文件中命名google.cloud空间和该secretmanager命名空间内的包的问题__init__.py。

如果我添加from google.cloud import secretmanager到airflow/dags/__init__.py然后尝试运行python -m dags.my_dag.py，我会收到此错误，但堆栈跟踪略有不同：

Traceback (most recent call last):
  File "/usr/local/lib/python3.7/runpy.py", line 183, in _run_module_as_main
    mod_name, mod_spec, code = _get_module_details(mod_name, _Error)
  File "/usr/local/lib/python3.7/runpy.py", line 109, in _get_module_details
    __import__(pkg_name)
  File "/workspace/airflow/dags/__init__.py", line 3, in <module>
    from google.cloud import secretmanager
ImportError: cannot import name 'secretmanager' from 'google.cloud' (unknown location)

旧信息

我 95% 确定它仍然是路径问题，并且 pytest 和气流正在修复一些我不知道的问题，当我尝试手动运行 python 脚本时没有处理。

我尝试过的事情：

cd /airflow; python setup.py develop --user
cd /airflow; pip install -e . --user
cd /airflow/dags; pip install -r requirements.txt --user

更新

根据评论中的要求，以下是内容requirements.txt：

boto3>=1.7.84
google-auth==1.11.2
google-cloud-bigtable==1.2.1
google-cloud-bigquery==1.24.0
google-cloud-spanner==1.14.0
google-cloud-storage==1.26.0
google-cloud-logging==1.14.0
google-cloud-secret-manager>=0.2.0
pycloudsqlproxy>=0.0.15
pyconfighelper>=0.0.7
pymysql==0.9.3
setuptools==45.2.0
six==1.14.0

我不小心省略了--user上面 pip 和 python 安装命令示例中的标志。在我的容器环境中，所有内容都使用全局目录安装到用户的主目录中，--user而不是安装在全局site-packages目录中。

更新 2

我已将以下代码添加到生成错误的文件中：

print('***********************************************************************************')
import sys
print(sys.path)
from google.cloud import secretmanager_v1beta1 as secretmanager
print('secretmanager.__file__: {}'.format(secretmanager.__file__))

来自airflow list_dags：

['/home/app/.local/bin', '/usr/local/lib/python37.zip', '/usr/local/lib/python3.7', '/usr/local/lib/python3.7/lib-dynload', '/home/app/.local/lib/python3.7/site-packages', '/home/app/.local/lib/python3.7/site-packages/Jeeves-0.0.1-py3.7.egg', '/home/app/.local/lib/python3.7/site-packages/google_cloud_secret_manager-0.2.0-py3.7.egg', '/home/app/.local/lib/python3.7/site-packages/pyconfighelper-0.0.7-py3.7.egg', '/home/app/.local/lib/python3.7/site-packages/click-7.1.1-py3.7.egg', '/workspace/airflow', '/usr/local/lib/python3.7/site-packages', '/workspace/airflow/dags', '/workspace/airflow/config', '/workspace/airflow/plugins']
secretmanager.__file__: /home/app/.local/lib/python3.7/site-packages/google_cloud_secret_manager-0.2.0-py3.7.egg/google/cloud/secretmanager_v1beta1/__init__.py

来自python my_dag.py：

['/workspace/airflow/dags', '/usr/local/lib/python37.zip', '/usr/local/lib/python3.7', '/usr/local/lib/python3.7/lib-dynload', '/home/app/.local/lib/python3.7/site-packages', '/home/app/.local/lib/python3.7/site-packages/Jeeves-0.0.1-py3.7.egg', '/home/app/.local/lib/python3.7/site-packages/google_cloud_secret_manager-0.2.0-py3.7.egg', '/home/app/.local/lib/python3.7/site-packages/pyconfighelper-0.0.7-py3.7.egg', '/home/app/.local/lib/python3.7/site-packages/click-7.1.1-py3.7.egg', '/home/app/.local/lib/python3.7/site-packages/icentris_ml_airflow-0.0.0-py3.7.egg', '/usr/local/lib/python3.7/site-packages']

更新 3 tree airflow/dags

airflow/dags
??? __init__.py
??? __pycache__
?   ??? __init__.cpython-37.pyc
?   ??? bq_to_cs.cpython-37.pyc
?   ??? bq_to_wrench.cpython-37.pyc
?   ??? fetch_cloudsql_tables-bluesun.cpython-37.pyc
?   ??? fetch_cloudsql_tables.cpython-37.pyc
?   ??? fetch_app_tables-bluesun.cpython-37.pyc
?   ??? fetch_app_tables.cpython-37.pyc
?   ??? gcs_to_cloudsql.cpython-37.pyc
?   ??? gcs_to_s3.cpython-37.pyc
?   ??? lake_to_staging.cpython-37.pyc
?   ??? schedule_dfs_sql_to_bq-bluesun.cpython-37.pyc
?   ??? schedule_dfs_sql_to_bq.cpython-37.pyc
?   ??? app_to_bq_initial_load-bluesun.cpython-37.pyc
?   ??? app_to_lake-bluesun.cpython-37.pyc
?   ??? app_to_lake.cpython-37.pyc
??? bq_to_wrench.py
??? composer_variables.json
??? my_ml_airflow.egg-info
?   ??? PKG-INFO
?   ??? SOURCES.txt
?   ??? dependency_links.txt
?   ??? top_level.txt
??? lake_to_staging.py
??? libs
?   ??? __init__.py
?   ??? __pycache__
?   ?   ??? __init__.cpython-37.pyc
?   ?   ??? checkpoint.cpython-37.pyc
?   ?   ??? utils.cpython-37.pyc
?   ??? checkpoint.py
?   ??? io
?   ?   ??? __init__.py
?   ?   ??? __pycache__
?   ?   ?   ??? __init__.cpython-37.pyc
?   ?   ??? gcp
?   ?       ??? __init__.py
?   ?       ??? __pycache__
?   ?       ?   ??? __init__.cpython-37.pyc
?   ?       ?   ??? storage.cpython-37.pyc
?   ?       ??? storage.py
?   ??? shared -> /workspace/shared/
?   ??? utils.py
??? requirements.txt
??? table_lists
?   ??? table-list.json
??? templates
    ??? sql
        ??? lake_to_staging.contacts.sql
        ??? lake_to_staging.orders.sql
        ??? lake_to_staging.users.sql

11 directories, 41 files

更新 4

我试图修复它，以便sys.path运行时，看起来都一样python dags/my_dag.py，因为它在运行时不会airflow list_dags或pytest test_my_dag.py。

仍然得到同样的错误。

查看更新版本的文档，我注意到您应该能够只执行from google.cloud import secretmanager. 这给了我相同的结果（适用于气流和 pytest，而不是尝试直接运行时）。

在这一点上，我最好的猜测是它与命名空间魔法有关，但我不确定？

Answer 1

它必须通过终端安装：pip install google-cloud-secret-manager 因为包名不是 secretmanager 而是 google-cloud-secret-manager

Answer 2

经过多次试验和错误，问题是，如果之前没有从 google.cloud 导入另一个包，目前无法从 google.cloud 命名空间导入 Secretmanager。

前任。

模.py

from google.cloud import secretmanager # Fails with error

mod2.py

from google.cloud import bigquery
from google.cloud import secretmanager # Works because the first import initialized the namespace