我正在尝试将数据从外部 webhook/RSS 源流式传输到我的数据流中。我正在考虑使用发布/订阅来接收消息,然后在数据流中处理它。但是,我找不到这样做的选项。
除了设置侦听输入流的接收者队列服务器之外,是否有更好的方法在 GCP 作为托管服务中执行此操作?
google-cloud-platform google-cloud-pubsub google-cloud-dataflow apache-beam
我正在尝试使用 Dataflow、Pub/Sub 和 BigQuery 创建和导出合成数据流。我使用以下模式遵循合成数据生成说明:
{
"id": "{{uuid()}}",
"test_value": {{integer(1,50)}}
}
Run Code Online (Sandbox Code Playgroud)
该架构位于一个文件中gs://my-folder/my-schema.json。该流似乎运行正常 - 我可以使用“导出到云存储”模板从相应的 Pub/Sub 主题导出到 GCS 存储桶。当我尝试使用“导出到 BigQuery”模板时,我不断收到此错误:
Request failed with code 400, performed 0 retries due to IOExceptions, performed 0 retries due to unsuccessful status codes, HTTP framework says request can be retried, (caller responsible for retrying): https://bigquery.googleapis.com/bigquery/v2/projects/<my-project>/datasets/<my-dataset>/tables/<my-table>/insertAll.
Run Code Online (Sandbox Code Playgroud)
在开始导出作业之前,我创建了一个空表<my-project>:<my-dataset>.<my-table>,其中的字段与上面的 JSON 架构匹配:
id STRING NULLABLE
test_value INTEGER NULLABLE
Run Code Online (Sandbox Code Playgroud)
我已经outputTableSpec设置为<my-project>:<my-dataset>.<my-table>.
我们有一个默认的 VPC。尝试运行数据流作业。初始步骤(读取文件)设法处理 1/2 步骤。获取JOB_MESSAGE_ERROR: SDK harness sdk-0-0 disconnected错误消息,但日志中没有其他内容。已尝试设置角色和 vpc 防火墙规则。
我想使用 Geobeam 图像 (Apache Beam Python 3.9 SDK 2.41.0) 运行数据流作业。我对工作的定义如下:
def run(pipeline_args, known_args):
import apache_beam as beam
from apache_beam.io.gcp.internal.clients import storage
from apache_beam.options.pipeline_options import PipelineOptions
from geobeam.io import GeoJSONSource, filebasedsource
from geobeam.fn import format_record, make_valid, filter_invalid
pipeline_options = PipelineOptions([
] + pipeline_args)
with beam.Pipeline(options=pipeline_options) as p:
(p
| beam.io.Read(GeoJSONSource(known_args.gcs_url, encoding='utf-8'))
| 'FilterCords' >> beam.Filter(lambda x: len(x[-1]["coordinates"]) > 1)
| 'MakeValid' >> beam.Map(make_valid)
| 'FilterInvalid' >> beam.Filter(filter_invalid) …Run Code Online (Sandbox Code Playgroud) 我们在BigQuery中有一个大表,其中数据正在流入.每天晚上,我们都想运行处理过去24小时数据的Cloud Dataflow管道.
在BigQuery中,可以使用" 表装饰器 " 执行此操作,并指定我们想要的范围,即24小时.
从BQ表读取时,Dataflow中是否可以以某种方式实现相同的功能?
我们已经看过Dataflow 的' Windows '文档,但我们无法确定这是否是我们需要的.到目前为止我们想出了这个(我们希望最后24小时的数据使用FixedWindows),但它仍然试图读取整个表格:
pipeline.apply(BigQueryIO.Read
.named("events-read-from-BQ")
.from("projectid:datasetid.events"))
.apply(Window.<TableRow>into(FixedWindows.of(Duration.standardHours(24))))
.apply(ParDo.of(denormalizationParDo)
.named("events-denormalize")
.withSideInputs(getSideInputs()))
.apply(BigQueryIO.Write
.named("events-write-to-BQ")
.to("projectid:datasetid.events")
.withSchema(getBigQueryTableSchema())
.withWriteDisposition(BigQueryIO.Write.WriteDisposition.WRITE_TRUNCATE) .withCreateDisposition(BigQueryIO.Write.CreateDisposition.CREATE_IF_NEEDED));
Run Code Online (Sandbox Code Playgroud)
我们走在正确的轨道上吗?
在破解快速CSV格式到Firebase上传的过程中,我只是这样做,而不是编写自定义接收器。这是代码的过度简化:
public static void main(String[] args) throws Exception {
Options options = PipelineOptionsFactory.as(Options.class);
Pipeline p = Pipeline.create(options);
PCollection<String> CsvData = p.apply(TextIO.Read.from("/my_file.csv"));
CsvData.apply(ParDo.named("Firebase").of(new DoFn<String, Void>() {
@Override
public void processElement(ProcessContext c) {
Firebase fb = new Firebase("https://MYAPP.firebaseio.com/");
fb.child("someId").setValue(c.element.getValue());
}
});
}
Run Code Online (Sandbox Code Playgroud)
有用。这是在Cloud Dataflow上使用REST API的地方吗?
我想将项目插入Google Datastore(如果它们不存在).我写了一个数据流流媒体作业.
工作
static class RawToObjectConverter extends DoFn<String, Entity> {
@Override
public void processElement(ProcessContext c) {
Query<Entity> query = Query.entityQueryBuilder().kind("Post").filter(PropertyFilter.eq("postid", rq.postid))
.build();
QueryResults<Entity> posts = datastore.run(query);
if (posts == null || !posts.hasNext()) {
Entity post = Entity.builder(datastore.newKeyFactory().newKey("Post"))
.set("postid", "1")
.set("title", "p1")
.build();
c.output(post);
}
}
}
Run Code Online (Sandbox Code Playgroud)
问题
lines.apply(ParDo.of(new RawToObjectConverter()))
.apply(DatastoreIO.v1().write().withProjectId(projectid));
Run Code Online (Sandbox Code Playgroud)
apply(PTransform<? super PCollection<Entity>,OutputT>)类型中的方法PCollection<Entity>不适用于参数(DatastoreV1.Write)
我也应该使用com.google.cloud.datastore.Datastore或com.google.datastore.v1.Entity?
google-cloud-datastore google-cloud-platform google-cloud-dataflow
我们如何通过Google数据流作业在GCS中创建压缩文件?
我无法指定压缩类型.如果该功能尚未出现,是否有更简洁的方法从Google BigQuery的查询输出到压缩文件?
google-cloud-storage google-bigquery google-cloud-dataflow apache-beam
如果我的类扩展了DoFn,如何访问侧输入的元素?
例如:
假设我有一个ParDo变换,如:
PCollection<String> data = myData.apply("Get data",
ParDo.of(new MyClass()).withSideInputs(myDataView));
Run Code Online (Sandbox Code Playgroud)
我有一节课: -
static class MyClass extends DoFn<String,String>
{
//How to access side input here
}
Run Code Online (Sandbox Code Playgroud)
在这种情况下,c.sideInput()不起作用.
谢谢.
我已经按照本答案中的描述实现了N个元素的批处理: google dataflow管道中的数据存储输入是否可以一次处理一批N个条目?
package com.example.dataflow.transform;
import com.example.dataflow.event.ClickEvent;
import org.apache.beam.sdk.transforms.DoFn;
import org.apache.beam.sdk.transforms.windowing.GlobalWindow;
import org.joda.time.Instant;
import java.util.ArrayList;
import java.util.List;
public class ClickToClicksPack extends DoFn> {
public static final int BATCH_SIZE = 10;
private List accumulator;
@StartBundle
public void startBundle() {
accumulator = new ArrayList(BATCH_SIZE);
}
@ProcessElement
public void processElement(ProcessContext c) {
ClickEvent clickEvent = c.element();
accumulator.add(clickEvent);
if (accumulator.size() >= BATCH_SIZE) {
c.output(accumulator);
accumulator = new ArrayList(BATCH_SIZE);
}
}
@FinishBundle
public void finishBundle(FinishBundleContext c) {
if (accumulator.size() > 0) {
ClickEvent clickEvent = accumulator.get(0); …Run Code Online (Sandbox Code Playgroud) 我已经在Dataprep中设计了一个数据转换,现在正尝试使用Dataflow中的模板来运行它。我的流程有几个输入和输出-数据流模板将它们作为json对象提供,每个输入和位置都有键/值对。它们看起来像这样(添加了换行符以便于阅读):
{
"location1": "project:bq_dataset.bq_table1",
#...
"location10": "project:bq_dataset.bq_table10",
"location17": "project:bq_dataset.bq_table17"
}
Run Code Online (Sandbox Code Playgroud)
我有17个输入(主要是查找)和2个输出(一个csv,一个bigquery)。我将这些传递给gcloudCLI像这样:
gcloud dataflow jobs run job-201807301630 /
--gcs-location=gs://bucketname/dataprep/dataprep_template /
--parameters inputLocations={"location1":"project..."},outputLocations={"location1":"gs://bucketname/output.csv"}
Run Code Online (Sandbox Code Playgroud)
但是我遇到一个错误:
ERROR: (gcloud.dataflow.jobs.run) unrecognized arguments:
inputLocations=location1:project:bq_dataset.bq_table1,outputLocations=location2:project:bq_dataset.bq_output1
inputLocations=location10:project:bq_dataset.bq_table10,outputLocations=location1:gs://bucketname/output.csv
Run Code Online (Sandbox Code Playgroud)
从错误消息看,它似乎正在合并输入和输出,以便当我有两个输出时,每两个输入都与两个输出配对:
input1:output1
input2:output2
input3:output1
input4:output2
input5:output1
input6:output2
...
Run Code Online (Sandbox Code Playgroud)
我试过引用输入/输出对象(单个和两个,再加上删除对象中的引号),将它们包装成[],使用波浪号,但不高兴。是否有人设法执行具有多个输入的数据流作业?
google-cloud-platform gcloud google-cloud-dataflow google-cloud-dataprep