发电机与列表理解

Question

在下面的代码中,使用列表推导还是生成器更好？

from itertools import izip
n=2
l=izip(xrange(10**n), xrange(10**n))
print 3 not in [x[0] for x in l]
#or
#print 3 not in (x[0] for x in l)

在这些测试中,如果列表很大,则生成器更快,如果列表更短,则列表理解显然更快.
这是因为理解只是计算机一次吗？
对于大型列表:生成器比listcomp更快
对于小型列表:生成器比listcomp慢

Answer 1

in对生成器表达式将使用该__iter__()方法并迭代表达式直到找到匹配,使其在一般情况下比列表理解更有效,列表理解在扫描结果匹配之前首先生成整个列表.

您的具体示例的替代方法是使用any(),以使测试更明确.我发现这有点可读性:

any(x[0] == 3 for x in l)

你必须考虑到in转发发电机; 如果您还需要在其他地方使用生成器,则无法使用此方法.

至于你的具体时间测试; 你的"短期"测试存在致命缺陷.第一次迭代izip()生成器将完全耗尽,使其他9999次迭代测试空发生器.您正在测试创建空列表和空生成器之间的区别,放大创建成本差异.

此外,您应该使用该timeit模块运行测试,确保测试是可重复的.这意味着您izip()每次迭代都必须创建一个新对象; 现在对比度要大得多:

>>> # Python 2, 'short'
...
>>> timeit.timeit("l = izip(xrange(10**2), xrange(10**2)); 3 not in (x[0] for x in l)", 'from itertools import izip', number=100000)
0.27606701850891113
>>> timeit.timeit("l = izip(xrange(10**2), xrange(10**2)); 3 not in [x[0] for x in l]", 'from itertools import izip', number=100000)
1.7422130107879639
>>> # Python 2, 'long'
...
>>> timeit.timeit("l = izip(xrange(10**3), xrange(10**3)); 3 not in (x[0] for x in l)", 'from itertools import izip', number=100000)
0.3002200126647949
>>> timeit.timeit("l = izip(xrange(10**3), xrange(10**3)); 3 not in [x[0] for x in l]", 'from itertools import izip', number=100000)
15.624258995056152

在Python 3上:

>>> # Python 3, 'short'
... 
>>> timeit.timeit("l = zip(range(10**2), range(10**2)); 3 not in (x[0] for x in l)", number=100000)
0.2624585109297186
>>> timeit.timeit("l = zip(range(10**2), range(10**2)); 3 not in [x[0] for x in l]", number=100000)
1.5555254180217162
>>> # Python 3, 'long'
... 
>>> timeit.timeit("l = zip(range(10**3), range(10**3)); 3 not in (x[0] for x in l)", number=100000)
0.27222433499991894
>>> timeit.timeit("l = zip(range(10**3), range(10**3)); 3 not in [x[0] for x in l]", number=100000)
15.76974998600781

在所有情况下,发电机变体都快得多; 你必须将'短'版本缩短到只有8个元组,以便列表理解开始获胜:

>>> timeit.timeit("n = 8; l = izip(xrange(n), xrange(n)); 3 not in (x[0] for x in l)", 'from itertools import izip', number=100000)
0.2870941162109375
>>> timeit.timeit("n = 8; l = izip(xrange(n), xrange(n)); 3 not in [x[0] for x in l]", 'from itertools import izip', number=100000)
0.28503894805908203

在Python 3上,生成器表达式和列表推导的实现更接近,你必须在列表理解获胜之前归结为4个项目:

>>> timeit.timeit("n = 4; l = zip(range(n), range(8)); 3 not in (x[0] for x in l)", number=100000)
0.284480107948184
>>> timeit.timeit("n = 4; l = zip(range(n), range(8)); 3 not in [x[0] for x in l]", number=100000)
0.23570425796788186