Redis - 在Amazon EC2上的Celery配置

Question

我正在使用Python,Django和MySql开发Web应用程序.我在应用程序中有一个规定,用户可以上传*.wmv和*.mov文件,系统将处理这些文件并将其转换为*.mp4.我使用的是单一服务器架构,但随着用户群的增长,视频转换占用了90%的内存.我正在考虑使用Amazon EC2在云上移动视频转换/流媒体服务器,以便使用Redis和Celery在不同的服务器上进行转换.我想知道Redis - Celery是否支持多层架构.如果有人成功实现了这一目标,请告诉我相应的步骤.这将是真正有用的,因为我谷歌搜索,但找不到任何支持文档.

Answer 1

如果您想使用Celery队列来处理您的工作,您需要:

• 设置rabbitMQ.您可以在现有主机或EC2实例上执行此操作
• 设置芹菜.该文件是好的.
• 设置redis以满足您的需求.再次,文档是好的
• 配置现有服务器以便能够与任务队列和redis通信.基本上,调整EC2防火墙规则
• 确保工作服务器可以查看文件.将它们上传到S3可能是将它们从云中来回移动的最简单方法
• 更改您的网络服务器代码以触发芹菜任务进行转换
• 弄清楚转换完成后该怎么做 - 你如何让用户知道它已经完成了？
• 走.

不要担心"n层"等等 - 这是一个简单的设置,您可以通过遵循文档在一天内完成.