从已完成的 celery 任务中清除 redis

Question

我正在使用 celery 任务队列，它使用 Redis 作为消息代理来运行一些后台任务，将结果保存到 Redis。

我想从已完成的任务结果中清除 Redis，因为我不再需要它们，所以如果出现大幅峰值，我不应该担心。

我发现CELERY_RESULT_EXPIRES这表明任务结果将在 X 秒后自动清理。

考虑以下代码：

from celery import Celery

CONFIG = {
    'BROKER_URL': 'redis://localhost:6379/0',
    'CELERY_RESULT_BACKEND': 'redis://localhost:6379/0',
    'CELERY_RESULT_EXPIRES': 15, # 15 secs
    'BROKER_POOL_LIMIT': 0, # redis connection get closed once task is done..
}


celery = Celery('tasks', config_source=CONFIG)

@celery.task(name='tasks.say_hello')
def say_hello():
    return "Helloooooo i just came out from the background!"


if __name__ == '__main__':
    say_hello.delay().get()

当运行上面的代码并且celery beat -A tasks -l info也运行时，然后在一段时间（超过 5 分钟）后检查 Redis，我看到了这个：

127.0.0.1:6379> KEYS *
1) "_kombu.binding.celery"
2) "_kombu.binding.celery.pidbox"
3) "_kombu.binding.celeryev"
4) "celery-task-meta-854543d8-14ad-4bf8-9725-edcf64131bb2"
5) "celery-task-meta-fa3e267e-46d0-4488-a766-d3276b6abdeb"
6) "celery-task-meta-86c2d83c-cadd-41b9-b4ff-426607786299"

已完成的任务 4 至 6 还在那里！结果不是应该在 15 秒后清除吗？我在这里遗漏了什么吗？

提前致谢。

Answer 1

@zhong所以你缺少的是 celery.backend_cleanup 如文档中所述

“内置周期性任务会删除这个时间之后的结果”，所以内置任务默认每天凌晨4点运行，所以如果你不更改配置它肯定会被删除，你可以交叉检查之后凌晨 4 点，如果您打算将其存储在数据库中，则必须为此运行 celerybeat，

所以回顾一下，它会被删除，是的，但只有当 celery 后端清理器运行时，您正在配置的那个清理器决定了需要存储的结果的生命周期，但这并不意味着 redis 会为您删除它，即到期时间celery Cleaner 团队负责查看并确定，是的，现在可以删除此结果。