我看过很多关于同一主题的问题。但是,我仍然遇到写入 GCS 的问题。我正在从 pubsub 阅读该主题并尝试将其推送到 GCS。我已经提到了这个链接。但是,在最新的束包中找不到 IOChannelUtils。
PCollection<String> details = pipeline
.apply(PubsubIO.readStrings().fromTopic("/topics/<project>/sampleTopic"));
PCollection<KV<String, String>> keyedStream = details.apply(WithKeys.of(new SerializableFunction<String, String>() {
public String apply(String s) {
return "constant";
}
}));
PCollection<KV<String, Iterable<String>>> keyedWindows = keyedStream.apply(Window.<KV<String, String>>into(FixedWindows.of(ONE_MIN)).withAllowedLateness(ONE_DAY)
.triggering(AfterWatermark.pastEndOfWindow().withEarlyFirings(AfterPane.elementCountAtLeast(10))
.withLateFirings(AfterFirst.of(AfterPane.elementCountAtLeast(10),
AfterProcessingTime.pastFirstElementInPane().plusDelayOf(TEN_SECONDS))))
.discardingFiredPanes()).apply(GroupByKey.create());
PCollection<Iterable<String>> windows = keyedWindows.apply(Values.create());
Run Code Online (Sandbox Code Playgroud)
这是我从堆栈溢出中的许多其他类似主题中获取的。现在,我明白了,TextIO 确实支持 withWindowedWrites 和 withNumShards 的无界 PCollection 写入选项。
参考:使用 DoFn 使用 Cloud Dataflow 从 PubSub 写入 Google Cloud Storage
但是,我不明白,我该怎么做。
我正在尝试按如下方式写入 GCS。
FilenamePolicy policy = DefaultFilenamePolicy.constructUsingStandardParameters(
StaticValueProvider.of(outputDirectory), DefaultFilenamePolicy.DEFAULT_SHARD_TEMPLATE, "");
details.apply(TextIO.write().to("gs://<bucket>/topicfile").withWindowedWrites()
.withFilenamePolicy(policy).withNumShards(4));
Run Code Online (Sandbox Code Playgroud)
我没有足够的点数来为 Stack Overflow …
我们编写了一个 Google 数据流代码,该代码将一个值插入到一个列是 DateTime 类型的 bigquery 表中。大多数时候逻辑运行良好。但是突然我们遇到了无效的日期时间问题。
Exception: java.lang.RuntimeException: java.io.IOException: Insert failed: [{"errors":[{"debugInfo":"generic::out_of_range: Invalid datetime string \"2017-09-26T21:16\"
Run Code Online (Sandbox Code Playgroud)
目前尚不清楚上述值如何以及为何无效。我们看到它遵循https://cloud.google.com/bigquery/docs/reference/standard-sql/data-types 中提到的 DateTime 数据类型
此外,目前还不清楚为什么它只是偶尔抛出这个错误。
我们写了一个自定义的转换代码来扩展 DoFn ProcessElement 代码是这样的
public void processElement(ProcessContext c) throws Exception {
TableRow tableRow = c.element();
try {
// do some processing then
tableRow.set("PredictedDate",**LocalDateTime.now().toString()**);
c.output(tableRow);
}catch(Exception exc){
LOG.error("Exception while processing and hence not attempting to write to bigquery");
}
}
enter code here
Run Code Online (Sandbox Code Playgroud)
它工作正常,但在夜间(美国中部时区)偶尔会失败。你能帮我们找到根本原因吗?
来自:https : //cloud.google.com/dataflow/service/dataflow-service-desc#preventing-fusion
您可以在第一个 ParDo 之后插入 GroupByKey 并取消组合。Dataflow 服务从不融合聚合中的 ParDo 操作。
这就是我在 python 中提出的 - 这是否合理/有更简单的方法吗?
def prevent_fuse(collection):
return (
collection
| beam.Map(lambda x: (x, 1))
| beam.GroupByKey()
| beam.FlatMap(lambda x: (x[0] for v in x[1]))
)
Run Code Online (Sandbox Code Playgroud)
编辑,回应本钱伯斯的问题
我们想要防止融合,因为我们有一个生成更大集合的集合,我们需要跨更大集合的并行化。如果它融合了,我只能在更大的集合中找到一名工人。
我们正在使用 Python SDK 在 google 数据流中运行日志文件解析作业。数据分布在数百条每日日志中,我们通过 Cloud Storage 中的文件模式读取这些日志。所有文件的数据量约为 5-8 GB(gz 文件),总共有 50-80 百万行。
loglines = p | ReadFromText('gs://logfile-location/logs*-20180101')
Run Code Online (Sandbox Code Playgroud)
此外,我们有一个简单的(小)映射 csv,它将日志文件条目映射到人类可读的文本。大约有 400 行,5 kb 大小。
例如,带有 [param=testing2] 的日志文件条目应映射到最终输出中的“客户请求 14 天免费产品试用”。
我们在一个带有 sideinput 的简单 beam.Map 中执行此操作,如下所示:
customerActions = loglines | beam.Map(map_logentries,mappingTable)
Run Code Online (Sandbox Code Playgroud)
其中 map_logentries 是映射函数,mappingTable 是映射表。
然而,这只有在我们通过 open() / read() 读取原生 python 中的映射表时才有效。如果我们通过 ReadFromText() 使用光束管道执行相同的操作,并将生成的 PCollection 作为侧输入传递给 Map,如下所示:
mappingTable = p | ReadFromText('gs://side-inputs/category-mapping.csv')
customerActions = loglines | beam.Map(map_logentries,beam.pvalue.AsIter(mappingTable))
Run Code Online (Sandbox Code Playgroud)
性能完全分解为每秒大约 2-3 个项目。
现在,我的问题:
对我们来说,映射确实经常变化,我需要找到一种方法让“普通”用户提供它。这个想法是在 Cloud Storage 中提供映射 …
我的管道的这部分应该接受一个输入,对其应用适当的元组标记,然后根据它接收到的标记对输入进行进一步处理。
运行以下代码时,主标签 (tag1) 中的 PCollection 工作正常。但是,附加标签(tag2、tag3)将在以下位置抛出此错误.apply():
线程“main”中的异常 java.lang.IllegalStateException:无法为 Assign Output.out1 [PCollection] 返回默认编码器。更正以下根本原因之一: 没有手动指定编码器;您可以使用 .setCoder() 这样做。从 CoderRegistry 推断编码器失败:无法为 V 提供编码器。
为什么这个错误发生在 tag2 而不是 tag1?请注意,如果我将 tag2 设为主要输出,将 tag1/tag3 作为附加输出并适当地重新排序代码,则 tag2 处理成功,但 tag1/tag3 将引发错误。
主管道:
PCollectionTuple pct = outputPair.apply("Assign Output", ParDo.of( new output())
.withOutputTags(output.tag1, TupleTagList.of(output.tag2).and(output.tag3)));
//Tag1 Output
PCollection<KV<String, outResultPair>> tagPair1 = pct.get(output.tag1)
.apply("Process", ParDo.of( new ABCOutput()))
//Tag2 Output
PCollection<KV<String, outResultPair>> tagPair2 = pct.get(output.tag2)
.apply("Process", ParDo.of( new DEFOutput())) //Error Thrown here
Run Code Online (Sandbox Code Playgroud)
支持类:
//ABCOutput Class
@DefaultCoder(AvroCoder.class)
public class ABCOutput extends DoFn<KV<String, inResultPair>, KV<String, …Run Code Online (Sandbox Code Playgroud) java google-cloud-platform google-cloud-dataflow apache-beam
我有一个包含 2 列和 20,000 行的 CSV 文件,我想导入到 Google Cloud Datastore 中。我是 Google Cloud 和 NoSQL 数据库的新手。我曾尝试使用数据流,但需要提供 Javascript UDF 函数名称。有没有人有这样的例子?一旦它在数据存储中,我将查询这些数据。任何关于如何创建它的建议或指导将不胜感激。
csv google-app-engine google-cloud-datastore google-cloud-dataflow
我有一个线性的三步数据流管道——出于某种原因,最后一步开始了,但Not started在我放弃并终止这项工作之前,前两步挂了很长时间。我不确定是什么原因造成的,因为这个相同的管道在过去已经成功运行,而且我很惊讶它没有在日志中显示任何关于阻止前两个步骤开始的错误。什么会导致这种情况,我该如何防止它发生?
要执行源数据准备、数据转换或数据清理,我们应该在什么场景下使用 Dataprep、Dataflow 和 Dataproc?
google-cloud-platform google-cloud-dataflow google-cloud-dataproc google-cloud-dataprep
使用Direct Runner在本地运行 Apache Beam 管道时,日志级别似乎设置为DEBUG.
有没有办法设置日志来INFO代替?
注意:--workerLogLevelOverrides可以在使用 Cloud Dataflow Runner 时使用,但似乎不适用于 Direct Runner
我需要自动化一个过程,以从 Google Big Query 中提取数据并导出到 GCP 外部外部服务器中的外部 CSV。
我只是在研究如何做到这一点,我发现了一些可以从我的外部服务器运行的命令。但我更喜欢在 GCP 中做所有事情以避免可能出现的问题。
在 Google 存储中运行对 CSV 的查询
bq --location=US extract --compression GZIP 'dataset.table' gs://example-bucket/myfile.csv
Run Code Online (Sandbox Code Playgroud)
从 Google Storage 下载 csv
gsutil cp gs://[BUCKET_NAME]/[OBJECT_NAME] [OBJECT_DESTINATION]
Run Code Online (Sandbox Code Playgroud)
但我想听听你的建议
google-cloud-storage google-bigquery google-cloud-platform google-cloud-dataflow