Amazon SQS漏斗数据库写入

Fai*_*bid 5 mysql queue scale amazon-sqs

因此,假设我正在建立netflix,我想通过userID和电影ID记录每个视图

因此它类似于viewID,userID,时间戳,

但是,为了扩展此功能,假定每秒获得1000次观看(只是为了疯狂)。将这些视图排队到SQS是否有意义,然后我们的队列读取器可以逐个取消排队并将其写入mysql数据库。这样,数据库不会因写请求而过载。

这看起来可行吗?

Wil*_*III 7

费萨尔,

这是一个合理的架构;但是,您应该知道写入 SQS 将比写入 RabbitMQ(或任何本地)消息队列之类的内容慢很多倍。

默认情况下,SQS FIFO 队列支持每秒最多 3,000 条消息和批处理,或每秒最多 300 条消息(每秒 300 次发送、接收或删除操作)而无需批处理。要请求提高限制,您需要提交支持请求。

话虽如此,从 SQS 开始并不是一个坏主意,因为它易于使用和调试。

此外,您可能想研究 MongoDB 以进行日志记录...查看以下参考资料:

MongoDB 非常适合记录日志

http://blog.mongodb.org/post/172254834/mongodb-is-fantastic-for-logging

封顶收藏

http://blog.mongodb.org/post/116405435/ipped-collections

使用 MongoDB 进行实时分析

http://blog.mongodb.org/post/171353301/using-mongodb-for-real-time-analytics