Tim*_*mur 6 google-cloud-storage google-cloud-platform amazon-kinesis google-cloud-pubsub amazon-kinesis-firehose
我试图弄清楚GCP上是否有一项服务允许使用来自Pub/Sub的流并将累积数据转储/批量到云存储中的文件（例如每X分钟）。我知道这可以通过数据流来实现，但正在寻找更多“开箱即用”的解决方案（如果存在）。
举个例子，这是人们可以使用 AWS Kinesis Firehose 完成的事情 -纯粹在配置级别- 人们可以告诉 AWS 定期或当累积的数据达到一定大小时将流中累积的任何内容转储到 S3 上的文件中。
这样做的原因是 - 当不需要流处理，而只需要积累数据时 - 我想最大限度地减少以下额外成本：
为了避免混淆 - 我不是在寻找免费的解决方案，而是寻找最佳的解决方案。
Google 维护了一组 Dataflow 模板，用于在其服务之间执行常见任务。
您只需插入一些配置值即可使用“Pubsub 到云存储”模板 - https://cloud.google.com/dataflow/docs/templates/provided-templates#cloudpubsubtogcstext
| 归档时间： |
|
| 查看次数： |
972 次 |
| 最近记录： |