对于 Google Cloud Pub/Sub 消息大小限制，我该怎么办？

Question

因此，消息大小限制为 10Mb。

由于其低延迟，我一直使用 Pub/Sub 作为数据管道的输入和输出。这里的假设是，Pub/Sub 是 Google Cloud 上最快的机制，可将数据拉入 Compute Engine 实例，并一次将一个（或几个）数据点从该实例中推出（不是以批量方式）。然后，具有 pub/sub 推送订阅的 Cloud Function 将输出写入 BigQuery。

我处理的数据99%不超过1MB。但也有一些异常值超过 10MB。

我能做什么呢？利用某种压缩？将输出写入 Cloud Storage 而不是 Pub/Sub？也许是永久SSD？我想确保我的计算实例正在完成其工作，一次消化一个数据点并以最少的时间提取和推送数据以及最多的时间用于转换数据来输出输出。

Answer 1

最安全且最具可扩展性的方法是将数据保存到 Cloud Storage 并仅在 PubSub 中发布文件引用，而不是内容。这也是最经济有效的方式。

您还可以想象压缩数据（如果它们是可压缩的）。它可能比使用云存储最快，但可扩展性较差。