我遇到了 GCP pubsub 的问题,即在几秒钟内发布数千条消息时丢失了一小部分数据。
我正在message_id从 pubsub 和一个session_id唯一的发布端和接收端的每条消息进行记录,我看到的结果是接收端的某些消息具有相同session_id但不同的message_id. 此外,还丢失了一些消息。
例如,在一项测试中,我向 pubsub 发送了 5,000 条消息,并且恰好收到了 5,000 条消息,其中 8 条消息丢失。日志丢失消息如下所示:
MISSING sessionId:sessionId: 731 (missing in log from pull request, but present in log from Flask API)
messageId FOUND: messageId:108562396466545
API: 200 **** sessionId: 731, messageId:108562396466545 ******(Log from Flask API)
Pubsub: sessionId: 730, messageId:108562396466545(Log from pull request)
Run Code Online (Sandbox Code Playgroud)
重复项看起来像:
======= Duplicates FOUND on sessionId: 730=======
sessionId: 730, messageId:108562396466545
sessionId: 730, messageId:108561339282318
(both are logs from pull request) …Run Code Online (Sandbox Code Playgroud) google-cloud-messaging google-cloud-platform google-cloud-pubsub