Python 3.6.0隐式命名空间包

Question

我在Python 3.6.0rc1中发现了使用隐式命名空间包的奇怪行为.你能告诉我,如果我错了或是Python 3.6的错误吗？

我正在使用命名空间包marrow,它有两个独立的包marrow.util和marrow.mailer.第二个取决于第一个.

假设我们已经marrow.util安装site-packages了Python 2.7,3.5和3.6:

$ ls -la /usr/lib/python*/site-packages/marrow
/usr/lib/python2.7/site-packages/marrow:
total 24
drwxr-xr-x.   3 root root  4096 Dec 23 12:23 .
drwxr-xr-x. 196 root root 16384 Dec 23 12:23 ..
drwxr-xr-x.   3 root root  4096 Dec 23 12:23 util

/usr/lib/python3.5/site-packages/marrow:
total 12
drwxr-xr-x.  3 root root 4096 Dec 23 12:24 .
drwxr-xr-x. 99 root root 4096 Dec 23 12:24 ..
drwxr-xr-x.  4 root root 4096 Dec 23 12:24 util

/usr/lib/python3.6/site-packages/marrow:
total 12
drwxr-xr-x.  3 root root 4096 Dec 23 14:25 .
drwxr-xr-x. 37 root root 4096 Dec 23 14:25 ..
drwxr-xr-x.  4 root root 4096 Dec 23 14:25 util

这里没有__init__.py文件,这是正确的,因为它marrow是一个命名空间包.您可以在安装期间看到此日志消息:

Skipping installation of <deleted>/site-packages/marrow/__init__.py (namespace package)

然后你在其他目录中构建了(但未安装)marrow命名空间包的第二部分marrow.mailer.例如这样:

$ pwd
/builddir/build/BUILD/marrow.mailer-4.0.2

$ ls
coverage.xml debuglinks.list elfbins.list LICENSE.txt marrow.mailer.egg-info README.textile setup.py debugfiles.list debugsources.list example marrow PKG-INFO setup.cfg test

$ ls marrow/
__init__.py  __init__.pyc  mailer  __pycache__

当我在此文件夹中运行Python 2.7.12或3.5.2并尝试导入marrow.util(从站点包)时,它按预期工作.

$ pwd
/builddir/build/BUILD/marrow.mailer-4.0.2

$ python2
Python 2.7.12 (default, Sep 29 2016, 12:52:02) 
[GCC 6.2.1 20160916 (Red Hat 6.2.1-2)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import marrow.util
>>>

$ python3.5
Python 3.5.2 (default, Sep 14 2016, 11:28:32) 
[GCC 6.2.1 20160901 (Red Hat 6.2.1-1)] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import marrow.util
>>>

但是当我尝试使用Python 3.6导入相同的模块时,它失败了:

$ python3.6
Python 3.6.0rc1 (default, Dec 10 2016, 14:50:33) 
[GCC 6.2.1 20160916 (Red Hat 6.2.1-2)] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import marrow.util
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ModuleNotFoundError: No module named 'marrow.util'
>>> 

当我尝试marrow.mailer在Mock中构建RPM包时,我发现了这个问题.使用Python 2.7和3.5一切正常,但Python 3.6无法marrow.util从站点包导入,因此marrow.mailer在RPM构建期间测试失败.

失败测试的示例回溯:

Traceback:
test/test_addresses.py:8: in <module>
    from marrow.mailer.address import Address, AddressList, AutoConverter
marrow/mailer/__init__.py:12: in <module>
    from marrow.mailer.message import Message
marrow/mailer/message.py:21: in <module>
    from marrow.mailer.address import Address, AddressList, AutoConverter
marrow/mailer/address.py:12: in <module>
    from marrow.util.compat import basestring, unicode, unicodestr, native
E   ModuleNotFoundError: No module named 'marrow.util'

在Changelog for Python 3.6中,我找不到与此问题相关的任何内容.

谢谢你的帮助.

编辑:我已经检查sys.path过Python 3.6,一切看起来都不错:

$ python3.6
Python 3.6.0rc1 (default, Dec 10 2016, 14:50:33) 
[GCC 6.2.1 20160916 (Red Hat 6.2.1-2)] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import sys
>>> sys.path
['', '/usr/lib64/python36.zip', '/usr/lib64/python3.6', '/usr/lib64/python3.6/lib-dynload', '/usr/lib64/python3.6/site-packages', '/usr/lib/python3.6/site-packages']
>>>

编辑2:

因为我仍然找不到任何解决方案而我没有任何回复,所以我创建了一个简单的Bash脚本,它可以重现我的情况.您唯一需要的是Python 3.5和Python 3.6.

#!/bin/bash

# Change this to run script with different Python
#PYTHON=python3.5                   # system Python 3.5
PYTHON=~/temp/Python-3.6.0/python # compiled Python 3.6

# Create venv and activate
$PYTHON -m venv venv
source ./venv/bin/activate

# Install marrow.util package as a part of namespace package marrow
pip install marrow.util

# Create simple folder structure
mkdir -p marrow/mailer

# Create structure of __init__.py files
# For namespace package with related content
cat >> marrow/__init__.py << EOL
try: # pragma: no cover
    __import__('pkg_resources').declare_namespace(__name__)
except ImportError: # pragma: no cover
    __import__('pkgutil').extend_path(__path__, __name__)
EOL

# For mailer module just with print()
cat >> marrow/mailer/__init__.py << EOL
print('Imported!!!')
EOL

# Testing
# Importing marrow.util installed via pip in venv
$PYTHON -c "import marrow.util"
# Importing marrow.mailer created manually in PWD
$PYTHON -c "import marrow.mailer"

# deactivate venv
deactivate

如果使用Python 3.5执行此脚本,您将看到Python 3.5可以marrow.util通过pip导入marrow.mailer,但无法在本地文件夹中导入.但是Python 3.6可以导入本地模块marrow.mailer而无法导入模块marrow.util.

Answer 1

这些包不使用隐式命名空间（“本机命名空间”），或者如果您确实有使用隐式命名空间的版本，请固定您的依赖项以确保不会混合新旧样式命名空间。它们是完全不兼容的方法。

您似乎正在尝试在 MCVE 示例代码中构建命名空间包（marrow/__init__.py通过旧的 Python 2 显式声明替换技巧进行声明），又名pkg-resources-style 命名空间包。这需要一个参数setup.py（实际打包）并通过包安装安装元数据。具体来说，如果“在开发中”安装，则此方法涉及.pth文件技巧（参见$VIRTUAL_ENV/lib/python3.?/site-packages），并提取/解压到该路径进行安装。如果没有它，就没有真正的命名空间，并且您的代码将无法找到，而不是使用这种旧的样式。（第一个，即已安装的，将获胜。）

在 REPL 中，您可以导入名称空间，例如import marrow，然后检查marrow.__path__找到/包含的内容作为诊断辅助；我当前在这台机器上的 WIP 虚拟环境有m.package、m.schema和m.interface，这是有道理的，因为我最近一直在构建这些版本。更现代的本机命名空间方法确实允许更自由形式的混合，其想法是没有__init__.pyjust的文件夹是一个命名空间，自动合并到PYTHONPATH，但这不是命名空间过去的工作方式，唉。（所有参与者都需要该存根__init__.py，并且所有命名空间级别都没有其他代码。）

我正在对整个 Marrow 生态系统进行现代化改造（如上所述，我已经开始了一些生态系统），以消除 Python 2 遗留问题并开始采用新的 Python 3 结构和方法，包括现代命名空间。对于仍然需要旧命名空间或在 Python 2 上的任何代码，所有内容和依赖项的主要版本提升都应保持在低于这些版本的水平。

（我正在重新获取本地 Python 3.6 和 3.5 以进一步调查。）