标签: google-cloud-dataflow

使用数据流删除重复项

我有一个大数据文件(1 TB)的数据导入BigQuery.每行包含一个键.在导入数据并创建我的PCollection以导出到BigQuery时,我想确保我不会根据此键值导入重复记录.在我的Java程序中执行此操作的最有效方法是什么?

谢谢

google-cloud-dataflow

3
推荐指数
1
解决办法
2362
查看次数

TextIO.Write - 是否附加或替换输出文件(Google Cloud Dataflow)

我找不到任何关于它的文档,所以我想知道如果输出文件已经存在(在gs:// bucket中)是什么行为?

谢谢,G

google-cloud-dataflow

3
推荐指数
1
解决办法
544
查看次数

如何在Google Cloud Dataflow中编码可以为空的对象?

本文旨在回答以下问题:

  • 哪个内置Coders支持可空值?
  • 如何编码可以为空的对象?
  • 有可空字段的类怎么样?
  • 带null条目的馆藏怎么样?

google-cloud-dataflow

3
推荐指数
1
解决办法
927
查看次数

数据流到BigQuery配额

对于这个特殊问题,我发现了一些相关的问题,但Google团队没有明确的答案:

写入BigQuery的Cloud DataFlow作业是否限于每桌每秒100K行的BigQuery配额(即BQ流限制)?

谷歌数据流写入bigquery表性能

Cloud DataFlow性能 - 是我们的预期时间吗?


编辑: 主要动机是找到一种方法来预测各种输入大小的运行时.

我已经设法运行通过Dataflow监控UI处理显示> 180K行/秒的作业.但是我不确定这是否会以某种方式限制插入到表中,因为作业运行时间比原始计算慢了大约2倍(500毫米行/ 180k行/秒= 45分钟,实际上花费了近2小时)

google-bigquery google-cloud-dataflow

3
推荐指数
1
解决办法
678
查看次数

用于BigQuerySink的bigquery.TableSchema的JSON表模式

我有一个以JSON格式定义的非平凡的表模式(涉及嵌套和重复的字段)(具有名称,类型,模式属性)并存储在文件中.它已成功用于使用bq load命令填充bigquery表.

但是当我尝试使用Dataflow Python SDK和BigQuerySink做同样的事情时,schema参数需要是以逗号分隔的'name':'type'元素列表或bigquery.TableSchema对象.

是否有任何方便的方法来获取我的JSON模式bigquery.TableSchema,或者我是否必须将其转换为name:value列表?

python google-cloud-dataflow

3
推荐指数
3
解决办法
3060
查看次数

如何在python apache beam中的窗口中订购元素?

我注意到java apache beam有类groupby.sortbytimestamp python是否已实现该功能?如果不是在窗口中对元素进行排序的方法是什么?我想我可以在DoFn中对整个窗口进行排序,但我想知道是否有更好的方法.

python dataflow google-cloud-dataflow apache-beam

3
推荐指数
1
解决办法
1091
查看次数

在Dataflow中自动检测BigQuery架构?

是否可以使用--autodetectDataFlow中的等价物?

即我们可以将数据加载到BQ表而不指定架构,相当于我们如何从CSV加载数据--autodetect?

(可能相关的问题)

google-bigquery google-cloud-dataflow apache-beam

3
推荐指数
1
解决办法
1508
查看次数

TEXTIO.使用模式{}从GCS读取多个文件

我尝试使用以下内容

TextIO.Read.from("gs://xyz.abc/xxx_{2017-06-06,2017-06-06}.csv")
Run Code Online (Sandbox Code Playgroud)

我得到的那种模式不起作用

java.lang.IllegalStateException: Unable to find any files matching StaticValueProvider{value=gs://xyz.abc/xxx_{2017-06-06,2017-06-06}.csv}
Run Code Online (Sandbox Code Playgroud)

即使这两个文件确实存在.我尝试使用类似表达式的本地文件

TextIO.Read.from("somefolder/xxx_{2017-06-06,2017-06-06}.csv")
Run Code Online (Sandbox Code Playgroud)

这确实很好用.

我原以为GCS中的文件会有各种各样的支持,但不是.这是为什么?在那里完成我正在寻找的东西?

glob google-cloud-storage google-cloud-dataflow apache-beam

3
推荐指数
1
解决办法
3309
查看次数

Google DataFlow Apache Beam

我试图使用Apache Beam创建一个Dataflow管道,我无法按照文档,找不到任何示例.

管道很简单.

  1. 创建一个管道
  2. 阅读pub/sub主题
  3. 写入扳手.

目前,我陷入了第2步.我找不到任何关于如何从pub/sub读取并使用它的示例.

这是我到目前为止所希望的代码

class ExtractFlowInfoFn extends DoFn<PubsubMessage, KV<String, String>> {
    public void processElement(ProcessContext c) {
        KV.of("key", "value");
    }
}

public static void main(String[] args) {

    Pipeline p = Pipeline.create(
    PipelineOptionsFactory.fromArgs(args).withValidation().create());

    p.apply("ReadFromPubSub", PubsubIO.readMessages().fromSubscription("test"))
     .apply("ConvertToKeyValuePair", ParDo.of(new ExtractFlowInfoFn()))
     .apply("WriteToLog", ));
};
Run Code Online (Sandbox Code Playgroud)

我通过以下几个例子来提出代码.说实话,我不知道我在这做什么.

请帮助我理解这一点或将我链接到正确的文档.

google-cloud-dataflow apache-beam google-cloud-spanner

3
推荐指数
1
解决办法
639
查看次数

如何使用Apache Beam Python SDK使用ParDo过滤PCollection的元素

我有一个PCollection,我想使用ParDo从中筛选出一些元素。

在这里可以找到一个例子吗?

google-cloud-dataflow apache-beam

3
推荐指数
1
解决办法
2617
查看次数