列表理解和生成器表达式的产出

小开

最佳答案

注意 : 这是 CPython 在理解和生成器表达式中处理 yield时的一个错误，在 Python 3.8中修复了这个错误，在 Python 3.7中有一个弃用警告。有关 Python 3.7和 Python 3.8，请参见 Python 漏洞报告和 最新消息条目。

生成器表达式、集合和结果理解被编译成(生成器)函数对象。在 Python3中，列表理解得到了相同的处理; 它们本质上都是一个新的嵌套作用域。

如果试图反汇编生成器表达式，您可以看到这一点:

>>> dis.dis(compile("(i for i in range(3))", '', 'exec'))
1           0 LOAD_CONST               0 (<code object <genexpr> at 0x10f7530c0, file "", line 1>)
3 LOAD_CONST               1 ('<genexpr>')
6 MAKE_FUNCTION            0
9 LOAD_NAME                0 (range)
12 LOAD_CONST               2 (3)
15 CALL_FUNCTION            1 (1 positional, 0 keyword pair)
18 GET_ITER
19 CALL_FUNCTION            1 (1 positional, 0 keyword pair)
22 POP_TOP
23 LOAD_CONST               3 (None)
26 RETURN_VALUE
>>> dis.dis(compile("(i for i in range(3))", '', 'exec').co_consts[0])
1           0 LOAD_FAST                0 (.0)
>>    3 FOR_ITER                11 (to 17)
6 STORE_FAST               1 (i)
9 LOAD_FAST                1 (i)
12 YIELD_VALUE
13 POP_TOP
14 JUMP_ABSOLUTE            3
>>   17 LOAD_CONST               0 (None)
20 RETURN_VALUE

上面显示了生成器表达式被编译成代码对象，并作为函数加载(MAKE_FUNCTION从代码对象创建函数对象)。.co_consts[0]引用让我们看到为表达式生成的代码对象，它像生成器函数一样使用 YIELD_VALUE。

因此，yield表达式在该上下文中工作，因为编译器将它们视为伪装的函数。

这是一个 bug; yield在这些表达式中没有位置。Python 3.7之前的 Python 语法允许这样做(这就是为什么代码是可编译的) ，但是 yield表达式规范表明在这里使用 yield实际上不应该起作用:

屈服表达式仅在定义 发电机函数时使用，因此只能在函数定义体中使用。

这已经被证实是第10544期的一个错误。这个错误的解决方案是使用 yield和 yield from将在 Python 3.8中提高 SyntaxError; 在 Python 3.7 就会产生 DeprecationWarning中确保代码停止使用这个构造。如果使用 -3命令行开关启用 Python 3兼容性警告，您将在 Python 2.7.15及以上版本中看到相同的警告。

0b1警告如下所示; 将警告转换为错误将给出 SyntaxError异常，就像在3.8中一样:

>>> [(yield i) for i in range(3)]
<stdin>:1: DeprecationWarning: 'yield' inside list comprehension
<generator object <listcomp> at 0x1092ec7c8>
>>> import warnings
>>> warnings.simplefilter('error')
>>> [(yield i) for i in range(3)]
File "<stdin>", line 1
SyntaxError: 'yield' inside list comprehension

列表内涵表达式中的 yield和发生器表达式中的 yield运作方式的不同，源于这两种表达式实现方式的差异。在 Python 3中，列表内涵使用 LIST_APPEND调用将堆栈顶部添加到正在构建的列表中，而生成器表达式则生成该值。添加 (yield <expr>)只是为以下任一选项添加另一个 YIELD_VALUE操作码:

>>> dis.dis(compile("[(yield i) for i in range(3)]", '', 'exec').co_consts[0])
1           0 BUILD_LIST               0
3 LOAD_FAST                0 (.0)
>>    6 FOR_ITER                13 (to 22)
9 STORE_FAST               1 (i)
12 LOAD_FAST                1 (i)
15 YIELD_VALUE
16 LIST_APPEND              2
19 JUMP_ABSOLUTE            6
>>   22 RETURN_VALUE
>>> dis.dis(compile("((yield i) for i in range(3))", '', 'exec').co_consts[0])
1           0 LOAD_FAST                0 (.0)
>>    3 FOR_ITER                12 (to 18)
6 STORE_FAST               1 (i)
9 LOAD_FAST                1 (i)
12 YIELD_VALUE
13 YIELD_VALUE
14 POP_TOP
15 JUMP_ABSOLUTE            3
>>   18 LOAD_CONST               0 (None)
21 RETURN_VALUE

位于字节码索引15和12的 YIELD_VALUE操作码分别是额外的，一只布谷鸟在巢里。因此，对于由列表理解转换而来的生成器，每次都有1个结果产生栈顶(用 yield返回值替换栈顶) ，对于生成器表达式变量，产生栈顶(整数) ，然后产生 再来一次，但是现在栈包含了 yield的返回值，第二次就得到了 None。

对于这个列表内涵，预期的 list对象输出仍然会返回，但是 Python 3将其视为一个生成器，因此返回值作为 value属性附加到了 StopIteration异常上:

>>> from itertools import islice
>>> listgen = [(yield i) for i in range(3)]
>>> list(islice(listgen, 3))  # avoid exhausting the generator
[0, 1, 2]
>>> try:
...     next(listgen)
... except StopIteration as si:
...     print(si.value)
...
[None, None, None]

这些 None对象是来自 yield表达式的返回值。

为了再次重申这一点，同样的问题也适用于 Python 2和 Python 3中的 dictionary 和集合理解; 在 Python 2中，yield返回值仍然被添加到预期的 dictionary 或 set 对象中，返回值是最后“生成”的，而不是附加到 StopIteration异常中:

>>> list({(yield k): (yield v) for k, v in {'foo': 'bar', 'spam': 'eggs'}.items()})
['bar', 'foo', 'eggs', 'spam', {None: None}]
>>> list({(yield i) for i in range(3)})
[0, 1, 2, set([None])]