我们目前正在使用Google的Cloud Dataflow SDK(1.6.0)在GCP中运行数据流作业,但是,我们正在考虑转向Apache Beam SDK(0.1.0).我们仍将使用数据流服务在GCP中运行我们的工作.有没有人经历过这种转变并有建议?这里是否有任何兼容性问题,GCP是否鼓励这一举措?
我目前正在构建一个Google Cloud Dataflow作业,该作业解析XML文件并使用Google Datastore保存条目,不同的Java库似乎非常令人困惑.
首先我找到了com.google.datastore.v1,它与Dataflow配合得很好,但后来我意识到缺少排除字段索引的选项.(我的大多数字段都不需要索引,永远不会在查询中使用.)
然后我找到了com.google.cloud.datastore,它有一个名为"setExcludeFromIndexes"的方法来实现我正在寻找的东西,但Dataflow无法保存使用此库生成的实体.
其中一个图书馆是新图书馆还是有什么区别?有没有办法使用v1库禁用单个字段的索引?
我们想要构建一个Cloud Dataflow Streaming流水线,该流水线从Pubsub接收事件,并对每个事件执行多个类似ETL的操作。这些操作之一是每个事件都有一个设备ID,需要将其转换为不同的值(我们称其为mapping -id),设备ID-> mapped-id的映射由外部服务通过REST API。同一设备ID可能会在多个事件中重复-因此,这些设备ID->映射的ID映射可以被缓存和重新使用。由于我们可能每秒通过管道最多处理每秒3M事件,因此需要尽可能减少对REST API的调用,并在实际需要调用时对其进行优化。
考虑到此设置,我有以下问题。
为了优化REST API调用,Dataflow是否提供任何内置的优化(如连接池),或者如果我们决定使用自己的此类机制,是否需要牢记任何限制/限制?
我们正在研究一些内存中缓存选项,以本地缓存映射,其中一些也由本地文件支持。因此,在不影响工作程序中常规Dataflow操作的情况下,这些缓存可以使用多少内存(占实例内存的一部分)是否有任何限制?如果我们使用文件支持的缓存,那么每个工作程序上是否都有可以由应用程序本身安全地用于构建这些文件的路径?
唯一设备ID的数量可能约为数百万个-因此并非所有这些映射都可以存储在每个实例中。因此,为了能够更好地利用本地缓存,我们需要在device-id和处理它们的工人之间获得某种亲和力。在进行此转换之前,我可以根据device-id进行分组。如果这样做,是否可以保证相同的设备ID或多或少由同一工作人员处理?如果有某种合理的保证,那么除了第一次调用就可以了,我大多数时候都不必使用外部REST API。还是有更好的方法来确保ID与工作人员之间的这种亲和力。
谢谢
我正在尝试使用python数据流将谷歌PubSub中的一些数据流式传输到BigQuery.出于测试目的,我通过设置将以下代码https://github.com/GoogleCloudPlatform/DataflowSDK-examples/blob/master/python/dataflow_examples/cookbook/bigquery_schema.py改编为流式传输管道
options.view_as(StandardOptions).streaming = True
Run Code Online (Sandbox Code Playgroud)
然后我将record_ids管道更改为从Pub/Sub读取
# ADDED THIS
lines = p | 'Read PubSub' >> beam.io.ReadStringsFromPubSub(INPUT_TOPIC) | beam.WindowInto(window.FixedWindows(15))
# CHANGED THIS # record_ids = p | 'CreateIDs' >> beam.Create(['1', '2', '3', '4', '5'])
record_ids = lines | 'Split' >> (beam.FlatMap(split_fn).with_output_types(unicode))
records = record_ids | 'CreateRecords' >> beam.Map(create_random_record)
records | 'Write' >> beam.io.Write(
beam.io.BigQuerySink(
OUTPUT,
schema=table_schema,
create_disposition=beam.io.BigQueryDisposition.CREATE_IF_NEEDED,
write_disposition=beam.io.BigQueryDisposition.WRITE_TRUNCATE))
Run Code Online (Sandbox Code Playgroud)
注意:我已被谷歌列入白名单以运行代码(在alpha中)
现在,当我尝试它时,我有一个错误
工作流程失败.原因:(f215df7c8fcdbb00):未知的流式接收器:bigquery
你可以在这里找到完整的代码:https://github.com/marcorigodanzo/gcp_streaming_test/blob/master/my_bigquery_schema.py
我认为这与现在流式传输的流水线有关,有谁能告诉我如何在流式传输管道中进行bigQuery写入?
python google-bigquery google-cloud-platform google-cloud-pubsub google-cloud-dataflow
我正在使用Java Beam SDK进行数据流作业,而com.google.api.services.dataflow.model.Job类则提供有关特定作业的详细信息.但是,它不提供任何方法/属性来获取数据流步骤信息,例如添加元素,估计大小等.
下面是我用来获取工作信息的代码,
PipelineResult result = p.run();
String jobId = ((DataflowPipelineJob) result).getJobId();
DataflowClient client = DataflowClient.create(options);
Job job = client.getJob(jobId);
Run Code Online (Sandbox Code Playgroud)
我在找类似的东西,
job.getSteps("step name").getElementsAdded();
job.getSteps("step name").getEstimatedSize();
Run Code Online (Sandbox Code Playgroud)
提前致谢.
我的工作流程:KAFKA - >数据流 - > BigQuery
鉴于在我的情况下低延迟并不重要,我使用FILE_LOADS来降低成本.我正在使用带有DynamicDestination的BigQueryIO.Write(每小时一个新表,当前小时作为后缀).
这个BigQueryIO.Write配置如下:
.withCreateDisposition(CreateDisposition.CREATE_IF_NEEDED)
.withMethod(Method.FILE_LOADS)
.withTriggeringFrequency(triggeringFrequency)
.withNumFileShards(100)
Run Code Online (Sandbox Code Playgroud)
第一个表已成功创建并写入.但是,从未创建以下表格,我得到以下表格:
(99e5cd8c66414e7a): java.lang.RuntimeException: Failed to create load job with id prefix 5047f71312a94bf3a42ee5d67feede75_5295fbf25e1a7534f85e25dcaa9f4986_00001_00023, reached max retries: 3, last failed load job: {
"configuration" : {
"load" : {
"createDisposition" : "CREATE_NEVER",
"destinationTable" : {
"datasetId" : "dev_mydataset",
"projectId" : "myproject-id",
"tableId" : "mytable_20180302_16"
},
Run Code Online (Sandbox Code Playgroud)
对于第一个表中的createDisposition会使用的CREATE_IF_NEEDED符合规定,但随后此参数不考虑和CREATE_NEVER默认使用.
我还在JIRA上创建了这个问题.
google-bigquery google-cloud-platform google-cloud-dataflow apache-beam
我的管道:Kafka - > Dataflow streaming(Beam v2.3) - > BigQuery
鉴于在我的情况下低延迟并不重要,我使用FILE_LOADS来降低成本,如下所示:
BigQueryIO.writeTableRows()
.withJsonSchema(schema)
.withWriteDisposition(WriteDisposition.WRITE_APPEND)
.withCreateDisposition(CreateDisposition.CREATE_IF_NEEDED)
.withMethod(Method.FILE_LOADS)
.withTriggeringFrequency(triggeringFrequency)
.withCustomGcsTempLocation(gcsTempLocation)
.withNumFileShards(numFileShards)
.withoutValidation()
.to(new SerializableFunction[ValueInSingleWindow[TableRow], TableDestination]() {
def apply(element: ValueInSingleWindow[TableRow]): TableDestination = {
...
}
}
Run Code Online (Sandbox Code Playgroud)
这个数据流步骤在管道中引入了一个总是更大的延迟,因此它无法跟上Kafka吞吐量(小于50k事件/秒),即使有40 n1-standard-s4名工作人员.如下面的屏幕截图所示,此步骤的系统滞后非常大(接近管道正常运行时间),而Kafka系统滞后只有几秒钟.
如果我理解正确,Dataflow会将元素写入gcsTempLocation中的numFileShards,并且每个triggeringFrequency都会启动一个加载作业,将它们插入到BigQuery中.例如,如果我选择5分钟的触发bq ls -a -j频率,我可以看到(有)所有负载作业需要不到1分钟才能完成.但仍然是这一步骤引入了越来越多的延迟,导致Kafka消耗越来越少的元素(由于bcackpressure).增加/减少numFileShards和triggeringFrequency并不能解决问题.
我没有手动指定任何窗口,我只是默认窗口.文件不会在gcsTempLocation中累积.
知道这里出了什么问题吗?
google-bigquery google-cloud-platform google-cloud-dataflow apache-beam
有没有办法ReadFromText在Python中使用转换读取多行csv文件?我有一个文件,其中包含一行,我试图让Apache Beam将输入读作一行,但无法让它工作.
def print_each_line(line):
print line
path = './input/testfile.csv'
# Here are the contents of testfile.csv
# foo,bar,"blah blah
# more blah blah",baz
p = apache_beam.Pipeline()
(p
| 'ReadFromFile' >> apache_beam.io.ReadFromText(path)
| 'PrintEachLine' >> apache_beam.FlatMap(lambda line: print_each_line(line))
)
# Here is the output:
# foo,bar,"blah blah
# more blah blah",baz
Run Code Online (Sandbox Code Playgroud)
上面的代码将输入解析为两行,即使多行csv文件的标准是将多行元素包装在双引号内.
python google-cloud-platform google-cloud-dataflow apache-beam apache-beam-io
有没有办法根据数据作业的大小动态扩展Pod的内存大小(我的用例)?
目前我们有使用内存量定义的Job和Pod,但我们不知道给定时间片(有时1000行,有时100,000行)的数据有多大.
因此,如果数据大于我们事先分配的内存,它将会中断.
我曾想过按数据量使用切片,即每10,000行切一次,我们就知道处理固定行数的内存需求.但我们正试图按时间聚合,因此需要时间片.
或任何其他解决方案,如Spark on kubernetes?
另一种看待它的方式:
我们如何在AWS上的Kubernetes中实现Cloud Dataflow
apache-spark kubernetes apache-spark-sql google-cloud-dataflow apache-beam
org.apache.beam.sdk.transforms.Reshuffle的目的是什么?在文档中,目的定义为:
一个PTransform返回与其输入等效的PCollection,但在操作上提供GroupByKey的一些副作用,特别是防止通过id合并周围的转换,检查点和重复数据删除。
防止周围变换融合的好处是什么?我认为融合是一种优化措施,可以防止不必要的步骤。实际用例会有所帮助。