我有一个场景,我们将把客户数据发送到pubsub并与java订阅者一起使用。我有多个订阅者订阅了同一订阅。有没有办法将所有具有相同customerID的消息路由到同一订户?
我知道Google Dataflow具有基于会话的窗口。但是,我想知道我们是否可以使用简单的Java使用者来实现它。
google-cloud-messaging google-cloud-platform google-cloud-pubsub
在数据流中,我需要将开始日期和结束日期作为运行时参数传递,并查询该日期范围的 bigquery 并将输出写入每日文件夹。
当我们使用 ValueProvider 时, getStartDate().get() 方法抛出 java.lang.RuntimeException: Not Called from a Runtime context。如果我在 getStartDate().get().isAccessible() 为 false 时硬编码某个值,则正在生成模板,但运行时参数未反映在作业中。在模板创建期间,它始终以硬编码值运行。
有什么建议 ?
我们在云大表中创建了带有两个列族的表。一个列族有30个版本,另一列族有1个版本。但是,当我们查询表时,将获得列的多个版本,为此我们将最大版本数设置为1。
表创建语句:
create 'myTable', {NAME => 'cf1', VERSIONS => '30'}, {NAME => 'cf2', VERSIONS => '1'}
Describe 'myTable':
{NAME => ‘cf2’, BLOOMFILTER => ‘ROW’, VERSIONS => ‘**1**’, IN_MEMORY => ‘false’, KEEP_DELETED_CELLS => ‘FALSE’, DATA_BLOCK_ENCODING => ‘NONE’, TTL => ‘FOREVER’, COMPRESSION => ‘NONE’, MIN_VERSIONS => ‘0’, BLOCKCACHE => ‘true’, BLOCKSIZE => ‘65536’, REPLICATION_SCOPE
=> ‘0’}
{NAME => ‘cf1’, BLOOMFILTER => ‘ROW’, VERSIONS => ‘**30**’, IN_MEMORY => ‘false’, KEEP_DELETED_CELLS => ‘FALSE’, DATA_BLOCK_ENCODING => ‘NONE’, TTL => ‘FOREVER’, COMPRESSION => ‘NONE’, MIN_VERSIONS => …Run Code Online (Sandbox Code Playgroud)