我有一个大数据文件(1 TB)的数据导入BigQuery.每行包含一个键.在导入数据并创建我的PCollection以导出到BigQuery时,我想确保我不会根据此键值导入重复记录.在我的Java程序中执行此操作的最有效方法是什么?
谢谢
我找不到任何关于它的文档,所以我想知道如果输出文件已经存在(在gs:// bucket中)是什么行为?
谢谢,G
本文旨在回答以下问题:
Coders支持可空值?null条目的馆藏怎么样?对于这个特殊问题,我发现了一些相关的问题,但Google团队没有明确的答案:
写入BigQuery的Cloud DataFlow作业是否限于每桌每秒100K行的BigQuery配额(即BQ流限制)?
编辑: 主要动机是找到一种方法来预测各种输入大小的运行时.
我已经设法运行通过Dataflow监控UI处理显示> 180K行/秒的作业.但是我不确定这是否会以某种方式限制插入到表中,因为作业运行时间比原始计算慢了大约2倍(500毫米行/ 180k行/秒= 45分钟,实际上花费了近2小时)
我有一个以JSON格式定义的非平凡的表模式(涉及嵌套和重复的字段)(具有名称,类型,模式属性)并存储在文件中.它已成功用于使用bq load命令填充bigquery表.
但是当我尝试使用Dataflow Python SDK和BigQuerySink做同样的事情时,schema参数需要是以逗号分隔的'name':'type'元素列表或bigquery.TableSchema对象.
是否有任何方便的方法来获取我的JSON模式bigquery.TableSchema,或者我是否必须将其转换为name:value列表?
我注意到java apache beam有类groupby.sortbytimestamp python是否已实现该功能?如果不是在窗口中对元素进行排序的方法是什么?我想我可以在DoFn中对整个窗口进行排序,但我想知道是否有更好的方法.
我尝试使用以下内容
TextIO.Read.from("gs://xyz.abc/xxx_{2017-06-06,2017-06-06}.csv")
Run Code Online (Sandbox Code Playgroud)
我得到的那种模式不起作用
java.lang.IllegalStateException: Unable to find any files matching StaticValueProvider{value=gs://xyz.abc/xxx_{2017-06-06,2017-06-06}.csv}
Run Code Online (Sandbox Code Playgroud)
即使这两个文件确实存在.我尝试使用类似表达式的本地文件
TextIO.Read.from("somefolder/xxx_{2017-06-06,2017-06-06}.csv")
Run Code Online (Sandbox Code Playgroud)
这确实很好用.
我原以为GCS中的文件会有各种各样的支持,但不是.这是为什么?在那里完成我正在寻找的东西?
我试图使用Apache Beam创建一个Dataflow管道,我无法按照文档,找不到任何示例.
管道很简单.
目前,我陷入了第2步.我找不到任何关于如何从pub/sub读取并使用它的示例.
这是我到目前为止所希望的代码
class ExtractFlowInfoFn extends DoFn<PubsubMessage, KV<String, String>> {
public void processElement(ProcessContext c) {
KV.of("key", "value");
}
}
public static void main(String[] args) {
Pipeline p = Pipeline.create(
PipelineOptionsFactory.fromArgs(args).withValidation().create());
p.apply("ReadFromPubSub", PubsubIO.readMessages().fromSubscription("test"))
.apply("ConvertToKeyValuePair", ParDo.of(new ExtractFlowInfoFn()))
.apply("WriteToLog", ));
};
Run Code Online (Sandbox Code Playgroud)
我通过以下几个例子来提出代码.说实话,我不知道我在这做什么.
请帮助我理解这一点或将我链接到正确的文档.
我有一个PCollection,我想使用ParDo从中筛选出一些元素。
在这里可以找到一个例子吗?