Gar*_*adi 3 google-app-engine google-cloud-platform google-cloud-pubsub
我要求每秒处理~20k次呼叫.我的系统处理约1M条目的列表,并为每个项目执行多个作业.它本质上非常"突发",因为它并不总是处理列表.我添加了一个App Engine flex env(使用Rails),使用自动缩放,测试端点等待5秒并返回.我推送到pubsub主题,推送订阅发送到App Engine.运行此命令达到每秒20-30个请求的稳定状态.
我猜测问题是pubsub推送卷算法与App Engine交互的交互,但后来我运行了第二个测试,我只是在多个进程的循环中抨击curl请求.这也是20-30 rps.
我陷入困境,想知道如何继续.如何配置系统以获得更高性能？我需要从我看到的三个数量级的表现.
非常感谢您的帮助!
我对pub/sub的体验是单个消息处理的速度非常慢.我猜想有一个成为http的开销.如果您在谷歌服务器上运行代码,我看到的平均时间是谷歌外40毫秒和20毫秒.对我来说有用的是批处理消息,当每次发布1k消息批处理时,我能够达到100k msgs/sec.
| 归档时间： |
|
| 查看次数： |
1909 次 |
| 最近记录： |