关于这个主题存在一个问题,答案是"一旦消息在Dataflow管道中的某个地方持久存在,就会得到确认."
从概念上讲,这是有道理的,但我不确定Dataflow如何能够在消息被持久化之前在管道中进行反序列化和转换后跟踪消息.
在我们的示例中,PubSub消息包含一批项目.收到并反序列化消息后,我们分解了批处理以进行处理.最终,批处理中的项目可能会被丢弃或提交到数据存储区,具体取决于其时间戳.
在这种情况下,确认如何工作?
google-cloud-dataflow
有据可查,快速写入具有单调递增值作为键或索引属性的实体类型对于性能来说是一个坏主意。
如何索引布尔属性或具有类似枚举值的属性(例如 Genders)上的实体?
我的猜测是对低基数属性进行索引可能会遇到同样的问题,因为这些属性没有内置类型。但也许对布尔属性有特殊处理?
database data-modeling database-performance google-cloud-datastore google-cloud-platform
data-modeling ×1
database ×1
database-performance ×1
google-cloud-dataflow ×1
google-cloud-datastore ×1
google-cloud-platform ×1