标签: google-cloud-dataflow

2
推荐指数
1
解决办法
4066
查看次数

从 Dataflow api 在 Datastore 中保存长度超过 1500 字节的字符串时出错

当我尝试保存一个很长的字符串时,Dataflow 作业抛出此错误消息:属性“myProperty”的值超过 1500 字节。,代码=INVALID_ARGUMENT。

遵循 Google 的DatastoreWordCount示例并保存超过 1500 字节的字符串时出现错误。

我知道在使用 Datastore API 时,我可以通过将属性保存为com.google.appengine.api.datastore.Text来保存长度超过 1500 字节的字符串。但是,DatastoreWordCount示例或DatastoreHelper类文档中没有其他替代方法可以指示支持Text类型。

可能是一种使用该 api 保存如此长字符串的方法,以便可以将其读取为com.google.appengine.api.datastore.Text吗?

完整的错误信息如下:

java.lang.RuntimeException: com.google.cloud.dataflow.sdk.util.UserCodeException: java.lang.RuntimeException: com.google.cloud.dataflow.sdk.util.UserCodeException: java.lang.RuntimeException: com.google.cloud.dataflow.sdk.util.UserCodeException: java.lang.RuntimeException: com.google.cloud.dataflow.sdk.util.UserCodeException: com.google.datastore.v1.client.DatastoreException: The value of property "dalekTestExecutions" is longer than 1500 bytes., code=INVALID_ARGUMENT
    at com.google.cloud.dataflow.sdk.runners.worker.SimpleParDoFn$1.output(SimpleParDoFn.java:162)
    at com.google.cloud.dataflow.sdk.util.DoFnRunnerBase$DoFnContext.outputWindowedValue(DoFnRunnerBase.java:288)
    at com.google.cloud.dataflow.sdk.util.DoFnRunnerBase$DoFnContext.outputWindowedValue(DoFnRunnerBase.java:284)
    at com.google.cloud.dataflow.sdk.util.DoFnRunnerBase$DoFnProcessContext$1.outputWindowedValue(DoFnRunnerBase.java:508)
    at com.google.cloud.dataflow.sdk.util.GroupAlsoByWindowsAndCombineDoFn.closeWindow(GroupAlsoByWindowsAndCombineDoFn.java:205)
    at com.google.cloud.dataflow.sdk.util.GroupAlsoByWindowsAndCombineDoFn.processElement(GroupAlsoByWindowsAndCombineDoFn.java:192)
    at com.google.cloud.dataflow.sdk.util.SimpleDoFnRunner.invokeProcessElement(SimpleDoFnRunner.java:49)
    at com.google.cloud.dataflow.sdk.util.DoFnRunnerBase.processElement(DoFnRunnerBase.java:139)
    at com.google.cloud.dataflow.sdk.runners.worker.SimpleParDoFn.processElement(SimpleParDoFn.java:190)
    at com.google.cloud.dataflow.sdk.runners.worker.ForwardingParDoFn.processElement(ForwardingParDoFn.java:42)
    at com.google.cloud.dataflow.sdk.runners.worker.DataflowWorkerLoggingParDoFn.processElement(DataflowWorkerLoggingParDoFn.java:47)
    at com.google.cloud.dataflow.sdk.util.common.worker.ParDoOperation.process(ParDoOperation.java:55)
    at com.google.cloud.dataflow.sdk.util.common.worker.OutputReceiver.process(OutputReceiver.java:52)
    at com.google.cloud.dataflow.sdk.util.common.worker.ReadOperation.runReadLoop(ReadOperation.java:224)
    at …
Run Code Online (Sandbox Code Playgroud)

google-app-engine google-cloud-datastore google-cloud-dataflow

2
推荐指数
1
解决办法
1546
查看次数

将 TupleTag 传递给 DoFn 方法

我正在尝试从 DoFn 方法获得两个输出,遵循Apache Beam 编程指南的示例

基本上在示例中,您传递一个 TupleTag,然后指定在哪里进行输出,这对我有用,问题是我在 ParDo 中调用了一个外部方法,但不知道如何传递这个 TupleTag,这是我的代码:

PCollectionTuple processedData = pubEv
  .apply("Processing", ParDo.of(new HandleEv())
      .withOutputTags(mainData, TupleTagList.of(failedData)));
Run Code Online (Sandbox Code Playgroud)

HandleEv 方法:

static class HandleEv extends DoFn<String, String> {
    @ProcessElement
    public void processElement(ProcessContext c) throws Exception {
      c.output("test")
      c.output(failedData,"failed")
    }
}
Run Code Online (Sandbox Code Playgroud)

我得到的错误是cannot find symbol由于 failedData 不能从 HandleEv 访问,我试图在课程开始时声明 failedData 但也不起作用。

非常感谢

java google-cloud-dataflow apache-beam

2
推荐指数
1
解决办法
2608
查看次数

如何将 PCollection 转换为 python 数据流中的列表

我有一个P1包含 ID 字段的PCollection 。我想从 PCollection 中获取完整的 ID 列作为列表,并将此值传递给 BigQuery 查询以过滤一个 BigQuery 表。

这样做的最快和最优化的方法是什么?

我是 Dataflow 和 BigData 的新手。任何人都可以对此提供一些提示吗?

谢谢!

google-bigquery google-cloud-dataflow apache-beam

2
推荐指数
1
解决办法
4088
查看次数

Cloud Dataflow 写入 BigQuery Python 错误

我正在编写一个简单的 Beam 作业来将数据从 GCS 存储桶复制到 BigQuery。代码如下所示:

from apache_beam.options.pipeline_options import GoogleCloudOptions
import apache_beam as beam

pipeline_options = GoogleCloudOptions(flags=sys.argv[1:])
pipeline_options.project = PROJECT_ID
pipeline_options.region = 'us-west1'
pipeline_options.job_name = JOB_NAME
pipeline_options.staging_location = BUCKET + '/binaries'
pipeline_options.temp_location = BUCKET + '/temp'

schema = 'id:INTEGER,region:STRING,population:INTEGER,sex:STRING,age:INTEGER,education:STRING,income:FLOAT,statusquo:FLOAT,vote:STRING'
p = (beam.Pipeline(options = pipeline_options)
     | 'ReadFromGCS' >> beam.io.textio.ReadFromText('Chile.csv')
     | 'WriteToBigQuery' >> beam.io.WriteToBigQuery('project:tmp.dummy', schema = schema))
Run Code Online (Sandbox Code Playgroud)

我们在项目项目中写入表tmp.dummy的位置。这导致以下堆栈跟踪:

Traceback (most recent call last):
  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/runpy.py", line 151, in _run_module_as_main
    mod_name, loader, code, fname = _get_module_details(mod_name)
  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/runpy.py", line …
Run Code Online (Sandbox Code Playgroud)

python google-bigquery google-cloud-dataflow apache-beam

2
推荐指数
1
解决办法
4854
查看次数

在 Apache Beam 中使用 defaultNaming 进行动态窗口写入

我正在关注这篇文章和文档的答案,以便在管道结束时对我的数据执行动态窗口写入。这是我到目前为止所拥有的:

static void applyWindowedWrite(PCollection<String> stream) {
    stream.apply(
        FileIO.<String, String>writeDynamic()
            .by(Event::getKey)
            .via(TextIO.sink())
            .to("gs://some_bucket/events/")
            .withNaming(key -> defaultNaming(key, ".json")));
}
Run Code Online (Sandbox Code Playgroud)

但是 NetBeans 在最后一行警告我语法错误:

FileNaming is not public in Write; cannot be accessed outside package

如何使defaultNaming我的管道可用,以便我可以将其用于动态写入。或者,如果这不可能,我应该做什么?

java google-cloud-dataflow apache-beam apache-beam-io

2
推荐指数
1
解决办法
1300
查看次数

Gcloud 主题在 Apache Beam 中转义

我正在尝试通过 gcloud 命令运行数据流作业:

gcloud beta dataflow jobs run test --gcs-location gs://bucket/templates/templateName --parameters query="select a.name,b.salary,a.id from table1 a join table2 b on a.id = b.id"
Run Code Online (Sandbox Code Playgroud)

但我收到一条错误消息:

错误:(gcloud.beta.dataflow.jobs.run) 参数 --parameters:dict arg 的错误语法:[b.salary]。请查看gcloud topic escaping您是否需要有关转义列表或字典标志值的信息。

我看到了 gcloud 主题转义的文档,但无法弄清楚如何在此处应用它。有人可以帮我解决这个问题。

谢谢。

google-cloud-dataflow apache-beam

2
推荐指数
1
解决办法
1562
查看次数

Apache Beam / GCP Dataflow 编码问题

我在 datalab 中使用 apache 光束/数据流“玩”。我正在尝试从 gcs 读取 csv 文件。当我使用以下方法创建 pcollection 时:

lines = p | 'ReadMyFile' >> beam.io.ReadFromText('gs://' + BUCKET_NAME + '/' + input_file, coder='StrUtf8Coder')
Run Code Online (Sandbox Code Playgroud)

我收到以下错误:

LookupError: unknown encoding: "THE","NAME","OF","COLUMNS"
Run Code Online (Sandbox Code Playgroud)

似乎列的名称被解释为编码?

我不明白出了什么问题。如果我不指定“编码器”,我会得到

UnicodeDecodeError: 'utf8' codec can't decode byte 0xe0 in position 1045: invalid continuation byte
Run Code Online (Sandbox Code Playgroud)

在 apache 光束之外,我可以通过从 gcs 读取文件来处理此错误:

blob = storage.Blob(gs_path, bucket)
data = blob.download_as_string()
data.decode('utf-8', 'ignore')
Run Code Online (Sandbox Code Playgroud)

我读到 apache beam 只支持 utf8 并且文件不只包含 utf8。

我应该下载然后转换为 pcollection 吗?

有什么建议吗?

character-encoding google-cloud-dataflow apache-beam

2
推荐指数
1
解决办法
2769
查看次数

python中的Apache Beam:如何在另一个PCollection上重用完全相同的转换

我的几个 PCollections(来自不同来源)必须以相同的方式解码。

hits = (msgs | 'Parse' >> beam.Map(parse)
    | 'Decode' >> beam.Map(decode_hit))
Run Code Online (Sandbox Code Playgroud)

然后:

dummy_hits = (dummy_msgs | 'Parse' >> beam.Map(parse)
    | 'Decode' >> beam.Map(decode_hit))
Run Code Online (Sandbox Code Playgroud)

多亏了我之前给它们的名字,如果我可以重用这些转换,那就太好了。我天真地尝试了这个:

dummy_hits = (dummy_msgs | 'Parse'
    | 'Decode')
Run Code Online (Sandbox Code Playgroud)

但我的管道不会建立。(类型错误:需要一个 PTransform 对象,得到解析)。

我认为有可能作为管道模块的文档说明:“如果需要应用相同的转换实例,则应使用右移运算符来指定新名称(例如input | "label" >> my_tranform)”

这样做的方法是什么?只有这可能吗?

python google-cloud-dataflow apache-beam

2
推荐指数
1
解决办法
1099
查看次数

从 PubSubIO 读取:fromTopic 与 fromSubscription

我在一些示例代码中看到似乎直接从主题中读取?

PubsubIO.readStrings().fromTopic(fullTopic))
Run Code Online (Sandbox Code Playgroud)

那和有区别吗

PubsubIO.readStrings().fromSubscription(fullTopic))
Run Code Online (Sandbox Code Playgroud)

(我一直觉得你必须订阅一个主题......)

编辑:使用 fromTopic添加到示例的链接

java google-cloud-pubsub google-cloud-dataflow apache-beam-io

2
推荐指数
1
解决办法
566
查看次数