是否有可能将芹菜与卡夫卡融为一体

Question

我想在使用celery的代码中引入多处理.但目前我的队列实施是在卡夫卡.

是否可以将Celery与Kafka集成,类似于下面提到的RabbitMQ:

from celery import Celery
app = Celery('tasks', broker='pyamqp://guest@localhost//')
@app.task
def add(x, y):
    return x + y

Answer 1

有关于让 kafka 作为 celery 的代理的讨论，并且有它的部分实现。我希望这可以帮助你

看起来它将于 10 月 31 日左右上市。

自此答案以来，对 Kafka 的支持似乎已推迟到更高版本。我建议检查哪个里程碑 [issue #301](https://github.com/celery/kombu/issues/301) 属于。 (7认同)
嗨，我知道，老问题，但似乎 kafka 支持已于 28 天前合并 https://github.com/celery/kombu/pull/1506 (6认同)

Answer 2

当您正在寻找 Kafka 的多处理解决方案时，我建议您查看 Faust 库。

这是一个与 Celery 比较的例子（非常接近你的）：

import faust

app = faust.App('myapp', broker='kafka://')

@app.agent()
async def add(stream):
    async for op in stream:
        yield op.x + op.y

《浮士德》的创作者之一也是《芹菜》的作者。

我这么说是因为此时此刻，自@user3382968 提到的票证创建以来已经过去了 7 年，但仍然没有任何进展。