Pythonic方式链接python生成器函数以形成管道

Question

我正在使用python进行管道代码重构.

假设我们有一系列生成器函数,我们想将它们链接起来形成一个数据处理管道.

例:

#!/usr/bin/python
import itertools

def foo1(g):
    for i in g:
        yield i + 1

def foo2(g):
    for i in g:
        yield 10 + i

def foo3(g):
    for i in g:
        yield 'foo3:' + str(i)

res = foo3(foo2(foo1(range(0, 5))))

for i in res:
    print i

输出:

foo3:11
foo3:12
foo3:13
foo3:14
foo3:15

我认为这不是foo3(foo2(foo1(range(0, 5))))实现我的管道目标的pythonic方式.特别是当管道中的级数很大时.

我希望我可以像jquery中的链一样重写它.类似的东西:

range(0, 5).foo1().foo2().foo3()

或者可能

l = [range(0, 5), foo1, foo2, foo3]
res = runner.run(l)

但我是发电机主题的新手,无法找到实现这一目标的方法.

欢迎任何帮助.

Answer 1

我有时喜欢reduce在这种情况下使用左折(在Python中调用):

from functools import reduce
def pipeline(*steps):
    return reduce(lambda x, y: y(x), list(steps))

res = pipeline(range(0, 5), foo1, foo2, foo3)

甚至更好:

def compose(*funcs):
    return lambda x: reduce(lambda f, g: g(f), list(funcs), x)

p = compose(foo1, foo2, foo3)
res = p(range(0, 5))