我想为我运行的每个 google 数据流作业自定义作业名称和作业 ID。我要为作业创建一个自定义的作业名称。
但我无法设置自定义作业 ID。
我找到了一个com.google.cloud.dataflow.sdk.options.DataflowWorkerHarnessOptions接口,它有一个方法 setJobId(String value)。但是我无法使用它来创建自定义的作业 ID。
有没有办法创建自定义的作业 ID?
在 BlockingDataflowPipelineRunner 上完成作业后,我正在尝试获取当前数据流作业的详细信息,例如 ID、名称、类型、开始时间、结束时间等。类似于我们在数据流仪表板中看到的详细信息,
我已经使用下面的代码来获取状态,
Pipeline p;
...
...
PipelineResult result = p.run();
switch (result.getState()) {
case CANCELLED:
break;
case DONE:
//MetadataTracker.insert(jobId, jobName, "Success", startTime, endTime);
case FAILED:
break;
case RUNNING:
break;
case STOPPED:
break;
case UNKNOWN:
break;
case UPDATED:
break;
default:
break;
}
Run Code Online (Sandbox Code Playgroud)
但是, PipelineResult 类没有任何方法来获取上述详细信息。谁能帮帮我吗?
python 依赖项可以加载到 Google Cloud Dataflow 管道中吗?
我想使用gensim 的短语建模器,它逐行读取数据以自动检测常用短语/二元组(经常出现在彼此旁边的两个词)。
因此,管道的第一次运行会将每个句子传递给这个短语建模器。
然后第二次通过管道将采用相同的短语建模器并将这个短语建模器应用于每个句子,以确定应该一起建模的短语。例子:
machine和learning频繁地出现在语料库中,它们将被转换为单个单词machine_learning。 这可以在 Dataflow 中完成吗?
可以pip install gensim在工作机器上强制传递构建/需求文件吗?
我正在使用光束管道来处理 json 并将其写入 bigquery。JSON 是这样的。
{
"message": [{
"name": "abc",
"itemId": "2123",
"itemName": "test"
}, {
"name": "vfg",
"itemId": "56457",
"itemName": "Chicken"
}],
"publishDate": "2017-10-26T04:54:16.207Z"
Run Code Online (Sandbox Code Playgroud)
}
我使用 Jackson 将其解析为以下结构。
class Feed{
List<Message> messages;
TimeStamp publishDate;
}
Run Code Online (Sandbox Code Playgroud)
public class Message implements Serializable{
/**
*
*/
private static final long serialVersionUID = 1L;
private String key;
private String value;
private Map<String, String> eventItemMap = new HashMap<>();
this property translate the list of map as a single map with all the key-value pair …Run Code Online (Sandbox Code Playgroud) google-bigquery google-cloud-dataflow apache-beam apache-beam-io
我有一个将结果写入 BigQuery 表的 Apache Beam/Dataflow 管道。然后我想查询此表以获取管道的单独部分。但是,我似乎无法弄清楚如何正确设置此管道依赖项。我编写(然后想要查询)的新表与用于某些过滤逻辑的单独表相连,这就是为什么我实际上需要编写表然后运行查询。逻辑如下:
with beam.Pipeline(options=pipeline_options) as p:
table_data = p | 'CreatTable' >> # ... logic to generate table ...
# Write Table to BQ
table_written = table_data | 'WriteTempTrainDataBQ' >> beam.io.WriteToBigQuery(...)
query_results = table_written | 'QueryNewTable' >> beam.io.Read(beam.io.BigQuerySource(query=query_new_table))
Run Code Online (Sandbox Code Playgroud)
ifquery_new_table实际上是对已经存在的 BQ 表的查询,我更改为query_results = p |而不是table_written这正常工作。但是,如果我尝试查询我在管道中间写入的表,那么在实际生成该表之前,我无法让管道步骤“等待”。有没有办法做到这一点,我忽略了?
当我尝试按顺序执行此步骤时,我收到一个断言错误assert isinstance(pbegin, pvalue.PBegin) AssertionError,我正在阅读这意味着这table_written是问题,因为它不是有效的 PCollection 实例。
有谁知道我可以用什么来代替 table_written 来让它按需要按顺序运行?
我有一个可以在本地执行而没有任何错误的管道。我曾经在本地运行的管道中遇到此错误
'Clients have non-trivial state that is local and unpickleable.'
PicklingError: Pickling client objects is explicitly not supported.
Run Code Online (Sandbox Code Playgroud)
我相信我通过降级到 apache-beam=2.3.0 解决了这个问题,然后在本地它会完美运行。
现在我正在使用DataflowRunner 并且在 requirements.txt 文件中我有以下依赖项
apache-beam==2.3.0
google-cloud-bigquery==1.1.0
google-cloud-core==0.28.1
google-cloud-datastore==1.6.0
google-cloud-storage==1.10.0
protobuf==3.5.2.post1
pytz==2013.7
Run Code Online (Sandbox Code Playgroud)
但我又犯了这个可怕的错误
'Clients have non-trivial state that is local and unpickleable.'
PicklingError: Pickling client objects is explicitly not supported.
Run Code Online (Sandbox Code Playgroud)
为什么它给我 DataflowRunner 的错误而不是 DirectRunner?他们不应该使用相同的依赖项/环境吗?任何帮助,将不胜感激。
我读过这是解决它的方法,但是当我尝试它时,我仍然遇到相同的错误
class MyDoFn(beam.DoFn):
def start_bundle(self, process_context):
self._dsclient = datastore.Client()
def process(self, context, *args, **kwargs):
# do stuff with self._dsclient
Run Code Online (Sandbox Code Playgroud)
来自https://github.com/GoogleCloudPlatform/google-cloud-python/issues/3191
我之前在本地修复此问题的参考帖子:
使用 ndjson 格式的文本文件,以下代码产生了我所期望的。一个 ndjson 文件,其中quotes.USD dict 未嵌套并删除了原始quotes 元素。
def unnest_quotes(element):
element['USDquotes'] = element['quotes']['USD']
del element['quotes']
return element
p = beam.Pipeline(options=pipeline_options)
ReadJson = p | ReadFromText(known_args.input,coder=JsonCoder())
MapFormattedJson = ReadJson | 'Map Function' >> beam.Map(unnest_quotes)
MapFormattedJson | 'Write Map Output' >> WriteToText(known_args.output,coder=JsonCoder())
Run Code Online (Sandbox Code Playgroud)
但是,当我尝试使用 ParDo 实现相同的目标时,我不理解这种行为。
class UnnestQuotes(beam.DoFn):
def process(self,element):
element['USDquotes'] = element['quotes']['USD']
del element['quotes']
return element
p = beam.Pipeline(options=pipeline_options)
ReadJson = p | ReadFromText(known_args.input,coder=JsonCoder())
ClassFormattedJson = ReadJson | 'Pardo' >> beam.ParDo(UnnestQuotes())
ClassFormattedJson | 'Write Class Output' >> WriteToText(known_args.output,coder=JsonCoder())
Run Code Online (Sandbox Code Playgroud)
这将生成一个文件,其中 dict 的每个键位于单独的行上,没有值,如下所示。
"last_updated" …Run Code Online (Sandbox Code Playgroud) 我目前正在使用Python处理数据流模板,我想访问作业 ID 并使用它来保存到特定的 Firestore 文档。
是否可以访问作业 ID?
我在文档中找不到与此相关的任何内容。
一年多以来,我一直在为 google 数据流构建和创建模板。我从来没有遇到过创建模板并通过options.setTemplateLocation(templatePath);调用将它们上传到 gcs 的问题。从今天开始,Pipeline.create(options);在 eclipse 中使用 java 程序创建管道并运行 java 程序时,出现以下异常:
Exception in thread "main" java.lang.RuntimeException: Failed to construct instance from factory method DataflowRunner#fromOptions(interface org.apache.beam.sdk.options.PipelineOptions)
at org.apache.beam.sdk.util.InstanceBuilder.buildFromMethod(InstanceBuilder.java:233)
at org.apache.beam.sdk.util.InstanceBuilder.build(InstanceBuilder.java:162)
at org.apache.beam.sdk.PipelineRunner.fromOptions(PipelineRunner.java:52)
at org.apache.beam.sdk.Pipeline.create(Pipeline.java:142)
at mypackage.PipelineCreation.getTemplatePipeline(PipelineCreation.java:34)
at myotherpackage.Main.main(Main.java:51)
Caused by: java.lang.reflect.InvocationTargetException
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:497)
at org.apache.beam.sdk.util.InstanceBuilder.buildFromMethod(InstanceBuilder.java:222)
... 5 more
Caused by: java.lang.RuntimeException: Unable to verify that GCS bucket gs://my-projects-staging-bucket exists.
at org.apache.beam.sdk.extensions.gcp.storage.GcsPathValidator.verifyPathIsAccessible(GcsPathValidator.java:92)
at org.apache.beam.sdk.extensions.gcp.storage.GcsPathValidator.validateOutputFilePrefixSupported(GcsPathValidator.java:61)
at org.apache.beam.runners.dataflow.DataflowRunner.fromOptions(DataflowRunner.java:228)
... 10 more
Caused by: …Run Code Online (Sandbox Code Playgroud) bad-request google-authentication google-cloud-storage google-cloud-dataflow
问题:
使用 Cloud Dataflow 时,我们会看到 2 个指标(请参阅此页面):
这些在 Stackdriver 中也可用以下名称(摘自此处):
system_lag:数据项等待处理的当前最大持续时间,以秒为单位。
data_watermark_age:管道已完全处理的最新数据项的年龄(自事件时间戳起的时间)。
但是,这些描述仍然非常模糊:
题:
由于这些指标与 Apache Beam 的语义一致,我希望看到一些示例,或者至少对这些指标进行更清晰的定义以使其可用。