标签: google-cloud-dataflow

如何为 Google 数据流作业设置自定义作业 ID

我想为我运行的每个 google 数据流作业自定义作业名称和作业 ID。我要为作业创建一个自定义的作业名称。

但我无法设置自定义作业 ID。

我找到了一个com.google.cloud.dataflow.sdk.options.DataflowWorkerHarnessOptions接口,它有一个方法 setJobId(String value)。但是我无法使用它来创建自定义的作业 ID。

有没有办法创建自定义的作业 ID?

google-cloud-dataflow

3
推荐指数
1
解决办法
1476
查看次数

如何使用 Java SDK 获取当前数据流作业的详细信息?

在 BlockingDataflowPipelineRunner 上完成作业后,我正在尝试获取当前数据流作业的详细信息,例如 ID、名称、类型、开始时间、结束时间等。类似于我们在数据流仪表板中看到的详细信息,

在此处输入图片说明

我已经使用下面的代码来获取状态,

    Pipeline p;
    ...
    ...
    PipelineResult result = p.run();

    switch (result.getState()) {
        case CANCELLED:
            break;
        case DONE:
            //MetadataTracker.insert(jobId, jobName, "Success", startTime, endTime);
        case FAILED:
            break;
        case RUNNING:
            break;
        case STOPPED:
            break;
        case UNKNOWN:
            break;
        case UPDATED:
            break;
        default:
            break;          
    }
Run Code Online (Sandbox Code Playgroud)

但是, PipelineResult 类没有任何方法来获取上述详细信息。谁能帮帮我吗?

google-cloud-dataflow

3
推荐指数
1
解决办法
2300
查看次数

数据流管道中的外部 Python 依赖项

python 依赖项可以加载到 Google Cloud Dataflow 管道中吗?

我想使用gensim 的短语建模器,它逐行读取数据以自动检测常用短语/二元组(经常出现在彼此旁边的两个词)。

因此,管道的第一次运行会将每个句子传递给这个短语建模器。

然后第二次通过管道将采用相同的短语建模器并将这个短语建模器应用于每个句子,以确定应该一起建模的短语。例子:

  • 如果machine和learning频繁地出现在语料库中,它们将被转换为单个单词machine_learning。

这可以在 Dataflow 中完成吗?

可以pip install gensim在工作机器上强制传递构建/需求文件吗?

python google-cloud-dataflow apache-beam

3
推荐指数
1
解决办法
2977
查看次数

Apache Beam:将具有对象列表的对象转换为多个 TableRow 以写入 BigQuery

我正在使用光束管道来处理 json 并将其写入 bigquery。JSON 是这样的。

{
"message": [{
    "name": "abc",
    "itemId": "2123",
    "itemName": "test"

}, {
    "name": "vfg",
    "itemId": "56457",
    "itemName": "Chicken"
}],
"publishDate": "2017-10-26T04:54:16.207Z"
Run Code Online (Sandbox Code Playgroud)

}

我使用 Jackson 将其解析为以下结构。

class Feed{
List<Message> messages; 
TimeStamp  publishDate;

}
Run Code Online (Sandbox Code Playgroud)
public class Message implements Serializable{

/**
 * 
 */
private static final long serialVersionUID = 1L;
private String key;
private String value;

private Map<String, String> eventItemMap = new HashMap<>();
this property translate the list of map as a single map with all the key-value pair …
Run Code Online (Sandbox Code Playgroud)

google-bigquery google-cloud-dataflow apache-beam apache-beam-io

3
推荐指数
1
解决办法
4288
查看次数

写表后Apache Beam Pipeline查询表

我有一个将结果写入 BigQuery 表的 Apache Beam/Dataflow 管道。然后我想查询此表以获取管道的单独部分。但是,我似乎无法弄清楚如何正确设置此管道依赖项。我编写(然后想要查询)的新表与用于某些过滤逻辑的单独表相连,这就是为什么我实际上需要编写表然后运行查询。逻辑如下:

with beam.Pipeline(options=pipeline_options) as p:
    table_data = p | 'CreatTable' >> # ... logic to generate table ...

    # Write Table to BQ
    table_written = table_data | 'WriteTempTrainDataBQ' >> beam.io.WriteToBigQuery(...)

    query_results = table_written | 'QueryNewTable' >> beam.io.Read(beam.io.BigQuerySource(query=query_new_table))
Run Code Online (Sandbox Code Playgroud)

ifquery_new_table实际上是对已经存在的 BQ 表的查询,我更改为query_results = p |而不是table_written这正常工作。但是,如果我尝试查询我在管道中间写入的表,那么在实际生成该表之前,我无法让管道步骤“等待”。有没有办法做到这一点,我忽略了?

当我尝试按顺序执行此步骤时,我收到一个断言错误assert isinstance(pbegin, pvalue.PBegin) AssertionError,我正在阅读这意味着这table_written是问题,因为它不是有效的 PCollection 实例。

有谁知道我可以用什么来代替 table_written 来让它按需要按顺序运行?

python google-cloud-dataflow apache-beam

3
推荐指数
1
解决办法
1238
查看次数

数据流错误:“客户端具有非平凡的本地状态和不可选择的状态”

我有一个可以在本地执行而没有任何错误的管道。我曾经在本地运行的管道中遇到此错误

    'Clients have non-trivial state that is local and unpickleable.'
     PicklingError: Pickling client objects is explicitly not supported.
Run Code Online (Sandbox Code Playgroud)

我相信我通过降级到 apache-beam=2.3.0 解决了这个问题,然后在本地它会完美运行。

现在我正在使用DataflowRunner 并且在 requirements.txt 文件中我有以下依赖项

    apache-beam==2.3.0
    google-cloud-bigquery==1.1.0
    google-cloud-core==0.28.1
    google-cloud-datastore==1.6.0
    google-cloud-storage==1.10.0
    protobuf==3.5.2.post1
    pytz==2013.7
Run Code Online (Sandbox Code Playgroud)

但我又犯了这个可怕的错误

    'Clients have non-trivial state that is local and unpickleable.'
     PicklingError: Pickling client objects is explicitly not supported.
Run Code Online (Sandbox Code Playgroud)

为什么它给我 DataflowRunner 的错误而不是 DirectRunner?他们不应该使用相同的依赖项/环境吗?任何帮助,将不胜感激。

我读过这是解决它的方法,但是当我尝试它时,我仍然遇到相同的错误

    class MyDoFn(beam.DoFn):

        def start_bundle(self, process_context):
            self._dsclient = datastore.Client()

        def process(self, context, *args, **kwargs):
        # do stuff with self._dsclient
Run Code Online (Sandbox Code Playgroud)

来自https://github.com/GoogleCloudPlatform/google-cloud-python/issues/3191

我之前在本地修复此问题的参考帖子:

在 apache-beam 作业中使用 …

python pickle google-cloud-dataflow apache-beam

3
推荐指数
1
解决办法
3326
查看次数

ParDo 行为的 Apache Beam 解释

使用 ndjson 格式的文本文件,以下代码产生了我所期望的。一个 ndjson 文件,其中quotes.USD dict 未嵌套并删除了原始quotes 元素。

  def unnest_quotes(element):
      element['USDquotes'] = element['quotes']['USD']
      del element['quotes']
      return element

  p = beam.Pipeline(options=pipeline_options)
  ReadJson = p | ReadFromText(known_args.input,coder=JsonCoder())
  MapFormattedJson = ReadJson | 'Map Function' >> beam.Map(unnest_quotes)
  MapFormattedJson | 'Write Map Output' >> WriteToText(known_args.output,coder=JsonCoder())
Run Code Online (Sandbox Code Playgroud)

但是,当我尝试使用 ParDo 实现相同的目标时,我不理解这种行为。

  class UnnestQuotes(beam.DoFn):
    def process(self,element):
      element['USDquotes'] = element['quotes']['USD']
      del element['quotes']
      return element

  p = beam.Pipeline(options=pipeline_options)
  ReadJson = p | ReadFromText(known_args.input,coder=JsonCoder())
  ClassFormattedJson = ReadJson | 'Pardo' >> beam.ParDo(UnnestQuotes())
  ClassFormattedJson | 'Write Class Output' >> WriteToText(known_args.output,coder=JsonCoder())
Run Code Online (Sandbox Code Playgroud)

这将生成一个文件,其中 dict 的每个键位于单独的行上,没有值,如下所示。

"last_updated" …
Run Code Online (Sandbox Code Playgroud)

python google-cloud-dataflow apache-beam

3
推荐指数
1
解决办法
2258
查看次数

Google Cloud Dataflow Python,检索作业 ID

我目前正在使用Python处理数据流模板,我想访问作业 ID 并使用它来保存到特定的 Firestore 文档。

是否可以访问作业 ID?

我在文档中找不到与此相关的任何内容。

python google-cloud-platform google-cloud-dataflow

3
推荐指数
1
解决办法
2514
查看次数

Google Dataflow Pipeline 创建失败并显示 400:错误请求/无效授权

一年多以来,我一直在为 google 数据流构建和创建模板。我从来没有遇到过创建模板并通过options.setTemplateLocation(templatePath);调用将它们上传到 gcs 的问题。从今天开始,Pipeline.create(options);在 eclipse 中使用 java 程序创建管道并运行 java 程序时,出现以下异常:

Exception in thread "main" java.lang.RuntimeException: Failed to construct instance from factory method DataflowRunner#fromOptions(interface org.apache.beam.sdk.options.PipelineOptions)
    at org.apache.beam.sdk.util.InstanceBuilder.buildFromMethod(InstanceBuilder.java:233)
    at org.apache.beam.sdk.util.InstanceBuilder.build(InstanceBuilder.java:162)
    at org.apache.beam.sdk.PipelineRunner.fromOptions(PipelineRunner.java:52)
    at org.apache.beam.sdk.Pipeline.create(Pipeline.java:142)
    at mypackage.PipelineCreation.getTemplatePipeline(PipelineCreation.java:34)
    at myotherpackage.Main.main(Main.java:51)
Caused by: java.lang.reflect.InvocationTargetException
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:497)
    at org.apache.beam.sdk.util.InstanceBuilder.buildFromMethod(InstanceBuilder.java:222)
    ... 5 more
Caused by: java.lang.RuntimeException: Unable to verify that GCS bucket gs://my-projects-staging-bucket exists.
    at org.apache.beam.sdk.extensions.gcp.storage.GcsPathValidator.verifyPathIsAccessible(GcsPathValidator.java:92)
    at org.apache.beam.sdk.extensions.gcp.storage.GcsPathValidator.validateOutputFilePrefixSupported(GcsPathValidator.java:61)
    at org.apache.beam.runners.dataflow.DataflowRunner.fromOptions(DataflowRunner.java:228)
    ... 10 more
Caused by: …
Run Code Online (Sandbox Code Playgroud)

bad-request google-authentication google-cloud-storage google-cloud-dataflow

3
推荐指数
1
解决办法
1747
查看次数

Cloud Dataflow 新鲜度和延迟的确切定义是什么?

问题:

使用 Cloud Dataflow 时,我们会看到 2 个指标(请参阅此页面):

  1. 系统延迟
  2. 数据新鲜度

这些在 Stackdriver 中也可用以下名称(摘自此处):

system_lag:数据项等待处理的当前最大持续时间,以秒为单位。

data_watermark_age:管道已完全处理的最新数据项的年龄(自事件时间戳起的时间)。

但是,这些描述仍然非常模糊:

  1. “等待处理”是什么意思?消息在 pubsub 中等待多长时间?或者它必须在管道内等待的总时间?
  2. “最大持续时间”:在处理了最大项目后,是否会调整指标?
  3. “自事件时间戳起的时间”是否意味着如果我的事件在时间戳 t1 被放入 pubsub 并且它在时间戳 t2 从管道的一端流出,管道在 t1?我想我可以假设,如果指标在 t1,则可以假设处理 t1 之前的所有内容。

题:

由于这些指标与 Apache Beam 的语义一致,我希望看到一些示例,或者至少对这些指标进行更清晰的定义以使其可用。

google-cloud-dataflow apache-beam

3
推荐指数
1
解决办法
1322
查看次数