我注意到在 java sdk 中,有一个函数可以让您编写 csv 文件的标题。 https://cloud.google.com/dataflow/java-sdk/JavaDoc/com/google/cloud/dataflow/sdk/io/TextIO.Write.html#withHeader-java.lang.String-
此功能是否反映在 python skd 上?
当我尝试保存一个很长的字符串时,Dataflow 作业抛出此错误消息:属性“myProperty”的值超过 1500 字节。,代码=INVALID_ARGUMENT。
遵循 Google 的DatastoreWordCount示例并保存超过 1500 字节的字符串时出现错误。
我知道在使用 Datastore API 时,我可以通过将属性保存为com.google.appengine.api.datastore.Text来保存长度超过 1500 字节的字符串。但是,DatastoreWordCount示例或DatastoreHelper类文档中没有其他替代方法可以指示支持Text类型。
可能是一种使用该 api 保存如此长字符串的方法,以便可以将其读取为com.google.appengine.api.datastore.Text吗?
完整的错误信息如下:
java.lang.RuntimeException: com.google.cloud.dataflow.sdk.util.UserCodeException: java.lang.RuntimeException: com.google.cloud.dataflow.sdk.util.UserCodeException: java.lang.RuntimeException: com.google.cloud.dataflow.sdk.util.UserCodeException: java.lang.RuntimeException: com.google.cloud.dataflow.sdk.util.UserCodeException: com.google.datastore.v1.client.DatastoreException: The value of property "dalekTestExecutions" is longer than 1500 bytes., code=INVALID_ARGUMENT
at com.google.cloud.dataflow.sdk.runners.worker.SimpleParDoFn$1.output(SimpleParDoFn.java:162)
at com.google.cloud.dataflow.sdk.util.DoFnRunnerBase$DoFnContext.outputWindowedValue(DoFnRunnerBase.java:288)
at com.google.cloud.dataflow.sdk.util.DoFnRunnerBase$DoFnContext.outputWindowedValue(DoFnRunnerBase.java:284)
at com.google.cloud.dataflow.sdk.util.DoFnRunnerBase$DoFnProcessContext$1.outputWindowedValue(DoFnRunnerBase.java:508)
at com.google.cloud.dataflow.sdk.util.GroupAlsoByWindowsAndCombineDoFn.closeWindow(GroupAlsoByWindowsAndCombineDoFn.java:205)
at com.google.cloud.dataflow.sdk.util.GroupAlsoByWindowsAndCombineDoFn.processElement(GroupAlsoByWindowsAndCombineDoFn.java:192)
at com.google.cloud.dataflow.sdk.util.SimpleDoFnRunner.invokeProcessElement(SimpleDoFnRunner.java:49)
at com.google.cloud.dataflow.sdk.util.DoFnRunnerBase.processElement(DoFnRunnerBase.java:139)
at com.google.cloud.dataflow.sdk.runners.worker.SimpleParDoFn.processElement(SimpleParDoFn.java:190)
at com.google.cloud.dataflow.sdk.runners.worker.ForwardingParDoFn.processElement(ForwardingParDoFn.java:42)
at com.google.cloud.dataflow.sdk.runners.worker.DataflowWorkerLoggingParDoFn.processElement(DataflowWorkerLoggingParDoFn.java:47)
at com.google.cloud.dataflow.sdk.util.common.worker.ParDoOperation.process(ParDoOperation.java:55)
at com.google.cloud.dataflow.sdk.util.common.worker.OutputReceiver.process(OutputReceiver.java:52)
at com.google.cloud.dataflow.sdk.util.common.worker.ReadOperation.runReadLoop(ReadOperation.java:224)
at …Run Code Online (Sandbox Code Playgroud) google-app-engine google-cloud-datastore google-cloud-dataflow
我正在尝试从 DoFn 方法获得两个输出,遵循Apache Beam 编程指南的示例
基本上在示例中,您传递一个 TupleTag,然后指定在哪里进行输出,这对我有用,问题是我在 ParDo 中调用了一个外部方法,但不知道如何传递这个 TupleTag,这是我的代码:
PCollectionTuple processedData = pubEv
.apply("Processing", ParDo.of(new HandleEv())
.withOutputTags(mainData, TupleTagList.of(failedData)));
Run Code Online (Sandbox Code Playgroud)
HandleEv 方法:
static class HandleEv extends DoFn<String, String> {
@ProcessElement
public void processElement(ProcessContext c) throws Exception {
c.output("test")
c.output(failedData,"failed")
}
}
Run Code Online (Sandbox Code Playgroud)
我得到的错误是cannot find symbol由于 failedData 不能从 HandleEv 访问,我试图在课程开始时声明 failedData 但也不起作用。
非常感谢
我有一个P1包含 ID 字段的PCollection 。我想从 PCollection 中获取完整的 ID 列作为列表,并将此值传递给 BigQuery 查询以过滤一个 BigQuery 表。
这样做的最快和最优化的方法是什么?
我是 Dataflow 和 BigData 的新手。任何人都可以对此提供一些提示吗?
谢谢!
我正在编写一个简单的 Beam 作业来将数据从 GCS 存储桶复制到 BigQuery。代码如下所示:
from apache_beam.options.pipeline_options import GoogleCloudOptions
import apache_beam as beam
pipeline_options = GoogleCloudOptions(flags=sys.argv[1:])
pipeline_options.project = PROJECT_ID
pipeline_options.region = 'us-west1'
pipeline_options.job_name = JOB_NAME
pipeline_options.staging_location = BUCKET + '/binaries'
pipeline_options.temp_location = BUCKET + '/temp'
schema = 'id:INTEGER,region:STRING,population:INTEGER,sex:STRING,age:INTEGER,education:STRING,income:FLOAT,statusquo:FLOAT,vote:STRING'
p = (beam.Pipeline(options = pipeline_options)
| 'ReadFromGCS' >> beam.io.textio.ReadFromText('Chile.csv')
| 'WriteToBigQuery' >> beam.io.WriteToBigQuery('project:tmp.dummy', schema = schema))
Run Code Online (Sandbox Code Playgroud)
我们在项目项目中写入表tmp.dummy的位置。这导致以下堆栈跟踪:
Traceback (most recent call last):
File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/runpy.py", line 151, in _run_module_as_main
mod_name, loader, code, fname = _get_module_details(mod_name)
File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/runpy.py", line …Run Code Online (Sandbox Code Playgroud) 我正在关注这篇文章和文档的答案,以便在管道结束时对我的数据执行动态窗口写入。这是我到目前为止所拥有的:
static void applyWindowedWrite(PCollection<String> stream) {
stream.apply(
FileIO.<String, String>writeDynamic()
.by(Event::getKey)
.via(TextIO.sink())
.to("gs://some_bucket/events/")
.withNaming(key -> defaultNaming(key, ".json")));
}
Run Code Online (Sandbox Code Playgroud)
但是 NetBeans 在最后一行警告我语法错误:
FileNaming is not public in Write; cannot be accessed outside package
如何使defaultNaming我的管道可用,以便我可以将其用于动态写入。或者,如果这不可能,我应该做什么?
我正在尝试通过 gcloud 命令运行数据流作业:
gcloud beta dataflow jobs run test --gcs-location gs://bucket/templates/templateName --parameters query="select a.name,b.salary,a.id from table1 a join table2 b on a.id = b.id"
Run Code Online (Sandbox Code Playgroud)
但我收到一条错误消息:
错误:(gcloud.beta.dataflow.jobs.run) 参数 --parameters:dict arg 的错误语法:[b.salary]。请查看gcloud topic escaping您是否需要有关转义列表或字典标志值的信息。
我看到了 gcloud 主题转义的文档,但无法弄清楚如何在此处应用它。有人可以帮我解决这个问题。
谢谢。
我在 datalab 中使用 apache 光束/数据流“玩”。我正在尝试从 gcs 读取 csv 文件。当我使用以下方法创建 pcollection 时:
lines = p | 'ReadMyFile' >> beam.io.ReadFromText('gs://' + BUCKET_NAME + '/' + input_file, coder='StrUtf8Coder')
Run Code Online (Sandbox Code Playgroud)
我收到以下错误:
LookupError: unknown encoding: "THE","NAME","OF","COLUMNS"
Run Code Online (Sandbox Code Playgroud)
似乎列的名称被解释为编码?
我不明白出了什么问题。如果我不指定“编码器”,我会得到
UnicodeDecodeError: 'utf8' codec can't decode byte 0xe0 in position 1045: invalid continuation byte
Run Code Online (Sandbox Code Playgroud)
在 apache 光束之外,我可以通过从 gcs 读取文件来处理此错误:
blob = storage.Blob(gs_path, bucket)
data = blob.download_as_string()
data.decode('utf-8', 'ignore')
Run Code Online (Sandbox Code Playgroud)
我读到 apache beam 只支持 utf8 并且文件不只包含 utf8。
我应该下载然后转换为 pcollection 吗?
有什么建议吗?
我的几个 PCollections(来自不同来源)必须以相同的方式解码。
hits = (msgs | 'Parse' >> beam.Map(parse)
| 'Decode' >> beam.Map(decode_hit))
Run Code Online (Sandbox Code Playgroud)
然后:
dummy_hits = (dummy_msgs | 'Parse' >> beam.Map(parse)
| 'Decode' >> beam.Map(decode_hit))
Run Code Online (Sandbox Code Playgroud)
多亏了我之前给它们的名字,如果我可以重用这些转换,那就太好了。我天真地尝试了这个:
dummy_hits = (dummy_msgs | 'Parse'
| 'Decode')
Run Code Online (Sandbox Code Playgroud)
但我的管道不会建立。(类型错误:需要一个 PTransform 对象,得到解析)。
我认为有可能作为管道模块的文档说明:“如果需要应用相同的转换实例,则应使用右移运算符来指定新名称(例如input | "label" >> my_tranform)”
这样做的方法是什么?只有这可能吗?
我在一些示例代码中看到似乎直接从主题中读取?
PubsubIO.readStrings().fromTopic(fullTopic))
Run Code Online (Sandbox Code Playgroud)
那和有区别吗
PubsubIO.readStrings().fromSubscription(fullTopic))
Run Code Online (Sandbox Code Playgroud)
(我一直觉得你必须订阅一个主题......)
编辑:使用 fromTopic添加到示例的链接
java google-cloud-pubsub google-cloud-dataflow apache-beam-io