小编use*_*121的帖子

在 Dataflow 流水线处理完所有数据后执行操作

批处理 Dataflow 作业处理完所有数据后是否可以执行操作?具体来说,我想将管道刚刚处理的文本文件移动到不同的 GCS 存储桶。我不确定将它放在我的管道中的哪个位置以确保它在数据处理完成后执行一次。

google-cloud-dataflow

5
推荐指数
1
解决办法
3638
查看次数

我可以自动增加BigTable中的列值吗?

BigTable是否支持类似于INCRRedis的原子增量操作?

有此功能的Golang库BT - https://godoc.org/cloud.google.com/go/bigtable#ReadModifyWrite.Increment。但是,我可以看到一个应用程序的两个实例尝试同时增加的情况,但是由于竞争条件,它只能增加一次。

google-cloud-bigtable

3
推荐指数
1
解决办法
422
查看次数

从 Go 应用程序的数据流模板创建作业

我正在尝试通过 Go 应用程序从现有模板启动数据流作业。

到目前为止,我已经引入google.golang.org/api/dataflow/v1b3并创建了一个CreateJobFromTemplateRequest包含工作信息的文件。

现在,我如何使用 Compute Engine 中的内置服务帐号凭据执行该请求?

go google-cloud-dataflow

1
推荐指数
1
解决办法
838
查看次数

Cloud Bigtable行数的性能

我想衡量Cloud Bigtable在获取具有某些前缀的许多行计数时的性能.

假设一个模式的行键末尾有unix时间戳,例如,event_id#unix_timestamp.

如果我需要获取20个不同event_id中的每一个的总行数,那么Cloud Bigtable是否可以高效地执行此操作?我要么使用前缀或行范围查询来执行此操作.

google-cloud-bigtable

1
推荐指数
2
解决办法
300
查看次数

Bigtable 查询的正则表达式过滤器 - 性能/建议

我想询问有关在 Bigtable 中使用带或不带前缀的正则表达式查询的建议和性能注意事项。

我们需要使用正则表达式过滤行键末尾的信息。

Bigtable 是否需要进行全表扫描来执行不包含前缀的正则表达式查询?性能方面有哪些考虑?这是推荐的吗?

在查询中引入前缀会对推荐产生什么影响?

当我们优化我们的架构时,将不胜感激对此的建议/想法。

google-cloud-bigtable

0
推荐指数
1
解决办法
3177
查看次数