列表推导和生成器表达式中的yield

Question

以下行为对我来说似乎有点违反直觉(Python 3.4):

>>> [(yield i) for i in range(3)]
<generator object <listcomp> at 0x0245C148>
>>> list([(yield i) for i in range(3)])
[0, 1, 2]
>>> list((yield i) for i in range(3))
[0, None, 1, None, 2, None]

最后一行的中间值实际上并不总是None,它们是我们send进入生成器的任何东西,等价(我猜)到下面的生成器:

def f():
   for i in range(3):
      yield (yield i)

令我感到有趣的是,这三条线路都很有用.该参考指出,yield仅在一个函数定义允许的(虽然我可能读错和/或它可能只是已经从旧版本复制).前两行在SyntaxErrorPython 2.7中生成,但第三行不生成.

而且,这似乎很奇怪

• 列表推导返回生成器而不是列表
• 并且生成器表达式转换为列表,相应的列表推导包含不同的值.

有人可以提供更多信息吗？

Answer 1

注意:这是CPython处理yieldcomprehensions和生成器表达式中的一个错误,在Python 3.8中修复,在Python 3.7中使用了弃用警告.请参阅Python错误报告和Python 3.7和Python 3.8 的新增条目.

生成器表达式,set和dict推导被编译为(生成器)函数对象.在Python 3中,列表推导得到了相同的处理; 从本质上讲,它们都是一个新的嵌套范围.

如果您尝试反汇编生成器表达式,可以看到这个:

>>> dis.dis(compile("(i for i in range(3))", '', 'exec'))
  1           0 LOAD_CONST               0 (<code object <genexpr> at 0x10f7530c0, file "", line 1>)
              3 LOAD_CONST               1 ('<genexpr>')
              6 MAKE_FUNCTION            0
              9 LOAD_NAME                0 (range)
             12 LOAD_CONST               2 (3)
             15 CALL_FUNCTION            1 (1 positional, 0 keyword pair)
             18 GET_ITER
             19 CALL_FUNCTION            1 (1 positional, 0 keyword pair)
             22 POP_TOP
             23 LOAD_CONST               3 (None)
             26 RETURN_VALUE
>>> dis.dis(compile("(i for i in range(3))", '', 'exec').co_consts[0])
  1           0 LOAD_FAST                0 (.0)
        >>    3 FOR_ITER                11 (to 17)
              6 STORE_FAST               1 (i)
              9 LOAD_FAST                1 (i)
             12 YIELD_VALUE
             13 POP_TOP
             14 JUMP_ABSOLUTE            3
        >>   17 LOAD_CONST               0 (None)
             20 RETURN_VALUE

上面显示了生成器表达式被编译为代码对象,作为函数加载(MAKE_FUNCTION从代码对象创建函数对象).该.co_consts[0]参考让我们看到了表达式生成的代码对象,并使用YIELD_VALUE就像将一台发电机的功能.

因此,yield表达式在该上下文中起作用,因为编译器将这些视为伪装函数.

这是一个错误; yield在这些表达中没有位置.Python 3.7之前的Python 语法允许它(这是代码可编译的原因),但yield表达式规范表明yield在这里使用不应该实际工作:

yield表达式仅在定义生成器函数时使用,因此只能在函数定义的主体中使用.

这已被证实是问题10544中的错误.错误的分辨率,使用yield和yield from将提出一个SyntaxError在Python 3.8 ; 在Python 3.7中,它引发了一个DeprecationWarning确保代码停止使用此构造.如果使用-3命令行开关启用Python 3兼容性警告,您将在Python 2.7.15及更高版本中看到相同的警告.

3.7.0b1警告看起来像这样; 将警告变成错误会给你一个SyntaxError例外,就像你在3.8中一样:

>>> [(yield i) for i in range(3)]
<stdin>:1: DeprecationWarning: 'yield' inside list comprehension
<generator object <listcomp> at 0x1092ec7c8>
>>> import warnings
>>> warnings.simplefilter('error')
>>> [(yield i) for i in range(3)]
  File "<stdin>", line 1
SyntaxError: 'yield' inside list comprehension

如何之间的差异yield列表中的理解和yield在发电机表达在这两个表达式是如何实现的不同操作杆.在Python 3中,列表推导使用LIST_APPEND调用将堆栈顶部添加到正在构建的列表中,而生成器表达式则生成该值.添加(yield <expr>)只是添加另一个YIELD_VALUE操作码:

>>> dis.dis(compile("[(yield i) for i in range(3)]", '', 'exec').co_consts[0])
  1           0 BUILD_LIST               0
              3 LOAD_FAST                0 (.0)
        >>    6 FOR_ITER                13 (to 22)
              9 STORE_FAST               1 (i)
             12 LOAD_FAST                1 (i)
             15 YIELD_VALUE
             16 LIST_APPEND              2
             19 JUMP_ABSOLUTE            6
        >>   22 RETURN_VALUE
>>> dis.dis(compile("((yield i) for i in range(3))", '', 'exec').co_consts[0])
  1           0 LOAD_FAST                0 (.0)
        >>    3 FOR_ITER                12 (to 18)
              6 STORE_FAST               1 (i)
              9 LOAD_FAST                1 (i)
             12 YIELD_VALUE
             13 YIELD_VALUE
             14 POP_TOP
             15 JUMP_ABSOLUTE            3
        >>   18 LOAD_CONST               0 (None)
             21 RETURN_VALUE

YIELD_VALUE字节码索引15和12处的操作码分别是额外的,巢中的杜鹃.因此,对于list-comprehension-turned-generator,每次产生堆栈顶部产生1个yield(用yield返回值替换堆栈顶部),对于生成器表达式变量,产生堆栈顶部(整数),然后再次屈服,但现在堆栈包含的返回值,yield你得到None第二次.

对于列表推导,然后list仍然返回预期的对象输出,但Python 3将其视为生成器,因此返回值将作为属性附加到StopIteration异常value:

>>> from itertools import islice
>>> listgen = [(yield i) for i in range(3)]
>>> list(islice(listgen, 3))  # avoid exhausting the generator
[0, 1, 2]
>>> try:
...     next(listgen)
... except StopIteration as si:
...     print(si.value)
... 
[None, None, None]

这些None对象是yield表达式的返回值.

并再次重申这一点; 同样的问题也适用于Python 2和Python 3中的字典和集合理解; 在Python 2中,yield返回值仍然添加到预期的字典或集合对象中,并且返回值最后为"屈服"而不是附加到StopIteration异常:

>>> list({(yield k): (yield v) for k, v in {'foo': 'bar', 'spam': 'eggs'}.items()})
['bar', 'foo', 'eggs', 'spam', {None: None}]
>>> list({(yield i) for i in range(3)})
[0, 1, 2, set([None])]