标签: google-cloud-dataflow

bigquery DataFlow 错误:在 EU 中读写时无法在不同位置读写

我有一个简单的 Google DataFlow 任务。它从 BigQuery 表中读取数据并写入另一个表,如下所示:

(p
 |  beam.io.Read( beam.io.BigQuerySource(
        query='select dia, import from DS1.t_27k where true', 
        use_standard_sql=True))
 |  beam.io.Write(beam.io.BigQuerySink(
                  output_table,
                  dataset='DS1', 
                  project=project, 
                  schema='dia:DATE, import:FLOAT',
                  create_disposition=CREATE_IF_NEEDED,
                      write_disposition=WRITE_TRUNCATE
                     )
                )
Run Code Online (Sandbox Code Playgroud)

我想问题是这个管道似乎需要一个临时数据集才能完成工作。我无法强制该临时数据集的位置。因为我的 DS1 位于欧盟 (#EUROPE-WEST1),而临时数据集位于美国(我猜),所以任务失败:

WARNING:root:Dataset m-h-0000:temp_dataset_e433a0ef19e64100000000000001a does not exist so we will create it as temporary with location=None
WARNING:root:A task failed with exception.
 HttpError accessing <https://www.googleapis.com/bigquery/v2/projects/m-h-000000/queries/b8b2f00000000000000002bed336369d?alt=json&maxResults=10000>: response: <{'status': '400', 'content-length': '292', 'x-xss-protection': '1; mode=block', 'x-content-type-options': 'nosniff', 'transfer-encoding': 'chunked', 'expires': 'Sat, 14 Oct 2017 20:29:15 GMT', 'vary': 'Origin, X-Origin', 'server': 'GSE', '-content-encoding': …
Run Code Online (Sandbox Code Playgroud)

python google-bigquery google-cloud-dataflow apache-beam

2
推荐指数
1
解决办法
1万
查看次数

GCP Dataflow Apache Beam 写入输出错误处理

我需要对数据流应用错误处理,以便使用相同的主键多次插入 Spanner。逻辑是,在当前消息之后可能会收到较旧的消息,并且我不想覆盖保存的值。因此,我将创建我的突变作为插入,并在尝试重复插入时抛出错误。

我在 DoFn 中看到过几个尝试块的示例,它们写入侧面输出以记录任何错误。这是一个非常好的解决方案,但我需要对写入不包含 DoFn 的 Spanner 的步骤应用错误处理

spannerBranchTuples2.get(spannerOutput2)
    .apply("Create Spanner Mutation", ParDo.of(createSpannerMutation))                      
    .apply("Write Spanner Records", SpannerIO.write()
        .withInstanceId(options.getSpannerInstanceId())                  
        .withDatabaseId(options.getSpannerDatabaseId())
        .grouped());
Run Code Online (Sandbox Code Playgroud)

我还没有找到任何允许将错误处理应用于此步骤的文档,或者找到一种将其重写为 DoFn 的方法。有什么建议如何对此应用错误处理吗?谢谢

google-cloud-platform google-cloud-dataflow apache-beam

2
推荐指数
1
解决办法
2692
查看次数

如何使用 Cloud Composer/Apache Airflow 运行带有设置文件的 Dataflow 管道?

我有一个工作数据流管道,第一次运行setup.py以安装一些本地帮助程序模块。我现在想使用 Cloud Composer/Apache Airflow 来调度管道。我已经创建了 DAG 文件,并将其与管道项目一起放置在指定的 Google Storage DAG 文件夹中。文件夹结构如下所示:

{Composer-Bucket}/
    dags/
       --DAG.py
       Pipeline-Project/
           --Pipeline.py
           --setup.py
           Module1/
              --__init__.py
           Module2/
              --__init__.py
           Module3/
              --__init__.py
Run Code Online (Sandbox Code Playgroud)

我的 DAG 中指定 setup.py 文件的部分如下所示:

resumeparserop = dataflow_operator.DataFlowPythonOperator(
    task_id="resumeparsertask",
    py_file="gs://{COMPOSER-BUCKET}/dags/Pipeline-Project/Pipeline.py",
    dataflow_default_options={
        "project": {PROJECT-NAME},    
        "setup_file": "gs://{COMPOSER-BUCKET}/dags/Pipeline-Project/setup.py"})
Run Code Online (Sandbox Code Playgroud)

但是,当我查看 Airflow Web UI 中的日志时,出现错误:

RuntimeError: The file gs://{COMPOSER-BUCKET}/dags/Pipeline-Project/setup.py cannot be found. It was specified in the --setup_file command line option.
Run Code Online (Sandbox Code Playgroud)

我不确定为什么找不到安装文件。如何使用设置文件/模块运行我的数据流管道?

python-2.7 google-cloud-dataflow airflow google-cloud-composer

2
推荐指数
1
解决办法
2180
查看次数

如何使用 Apache Beam Direct 运行程序通过 GOOGLE_APPLICATION_CREDENTIALS 进行身份验证

如何使用 Apache Beam Direct 运行程序通过 GOOGLE_APPLICATION_CREDENTIALS 进行身份验证?我不想使用 gcloud 帐户进行身份验证。我有一个服务帐户(json),我将其设置为系统变量。如何让 Apache Beam 程序(作为 DirectRunner 运行)使用 GOOGLE_APPLICATION_CREDENTIALS 进行身份验证?

我的用例是访问 Apache Beam 程序中的 GCP Pub/Sub 资源,因此需要进行身份验证

google-cloud-dataflow apache-beam

2
推荐指数
1
解决办法
4257
查看次数

Apache Beam 每用户会话窗口未合并

我们有一个有用户的应用程序;每个用户每次使用我们的应用程序大约 10-40 分钟,我想根据发生的特定事件(例如“此用户已转换”、“此用户上次会话出现问题”、“该用户上次会话成功”)。

(在此之后,我想计算每天这些更高级别的事件,但这是一个单独的问题)

为此,我一直在研究会话窗口;但所有文档似乎都面向全局会话窗口,但我想为每个用户创建它们(这也是自然分区)。

我无法找到有关如何执行此操作的文档(首选 python)。你能指出我正确的方向吗?

或者换句话说:如何创建可以输出更结构化(丰富)事件的每用户每会话窗口?

我拥有的

class DebugPrinter(beam.DoFn):
  """Just prints the element with logging"""
  def process(self, element, window=beam.DoFn.WindowParam):
    _, x = element
    logging.info(">>> Received %s %s with window=%s", x['jsonPayload']['value'], x['timestamp'], window)
    yield element

def sum_by_event_type(user_session_events):
  logging.debug("Received %i events: %s", len(user_session_events), user_session_events)
  d = {}
  for key, group in groupby(user_session_events, lambda e: e['jsonPayload']['value']):
    d[key] = len(list(group))
  logging.info("After counting: %s", d)
  return d

# ...

by_user = valid \
  | 'keyed_on_user_id'      >> beam.Map(lambda x: (x['jsonPayload']['userId'], x)) …
Run Code Online (Sandbox Code Playgroud)

python google-cloud-dataflow apache-beam

2
推荐指数
1
解决办法
1275
查看次数

一个数据流作业内的并行管道

我想在 GCP 上的一个数据流作业中运行两个并行管道。我已经创建了一个管道,它工作得很好,但我想要另一个管道而不创建另一份工作。

我已经搜索了很多答案,但找不到任何代码示例:(

如果我这样运行它就不起作用:

pipe1.run();
pipe2.run();
Run Code Online (Sandbox Code Playgroud)

它给我“已经有一个活动的作业名称...如果您想提交第二个作业,请再次尝试使用--jobName”设置不同的名称

java dataflow google-cloud-platform gcloud google-cloud-dataflow

2
推荐指数
1
解决办法
2329
查看次数

数据流:字符串到发布订阅消息

我正在尝试在 Dataflow 中进行单元测试。

对于那个测试,在乞求时,我将从一个简单的硬编码字符串开始。

问题是我需要将该字符串转换为 pubsub 消息。我得到了以下代码来做到这一点:

    // Create a PCollection from string a transform to pubsub message format
    PCollection<PubsubMessage> input = p.apply("input string", Create.of("test" + 
            ""))
            .apply("convert to Pub/Sub message", ParDo.of(new DoFn<String, PubsubMessage>() {
                @ProcessElement
                public void processElement(ProcessContext c) {
                    c.output(new PubsubMessage(c.element().getBytes(), null));
                }
            }));
Run Code Online (Sandbox Code Playgroud)

但我收到以下错误:

 java.lang.IllegalArgumentException: unable to serialize DoFnWithExecutionInformation{doFn=com.xxx.pipeline.TesterPipeline$1@7b64240d, mainOutputTag=Tag<output>, sideInputMapping={}, schemaInformation=DoFnSchemaInformation{elementConverters=[]}}
    at org.apache.beam.sdk.util.SerializableUtils.serializeToByteArray(SerializableUtils.java:55)
    <...>
Caused by: java.io.NotSerializableException: com.xxx.pipeline.TesterPipeline
    at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1184)
    at java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:1548)
    at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:1509)
    at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:1432)
    at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1178)
    at java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:1548)
    at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:1509)
    at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:1432)
    at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1178) …
Run Code Online (Sandbox Code Playgroud)

java google-cloud-dataflow apache-beam

2
推荐指数
1
解决办法
525
查看次数

为 WritetoFiles 设置文件名

我的流程将文件存储在磁盘上,我需要设置文件名,以便我可以找回东西。

默认命名是窗口时间戳和计数器,这对我没有帮助。文档对我来说不够清楚。(https://beam.apache.org/releases/pydoc/2.16.0/apache_beam.io.fileio.html?highlight=default_file_naming)

fileio.WriteToFiles(archive_storage, file_naming=beam.io.fileio.destination_prefix_naming())
Run Code Online (Sandbox Code Playgroud)

我想命名文件<HASH>.json中的 HASH 是文件中数据的文件。

python-3.x google-cloud-dataflow apache-beam

2
推荐指数
1
解决办法
704
查看次数

区域丢失后从 Dataflow 恢复 PubSub Acked 消息

我一直在阅读有关 DataFlow 在读取流数据时如何确认消息的内容。基于这里和这里的答案的答案,似乎 DataFlow 按捆绑“确认”消息,只要完成捆绑,就会“确认”其中的消息。

混乱n是当GroupByKey管道中涉及到a时会发生什么。捆绑包中的数据将持久保存到多区域存储桶中,并且消息将得到确认。然后想象整个地区都崩溃了。中间数据仍然会在桶中(因为我们是多区域的)。

话虽如此,

  1. 为了不丢失任何数据,需要遵循哪些步骤?
  2. 关于如何处理这种主动/主动方法以便在区域完全关闭时不丢失数据有什么建议吗?

请指教,

google-cloud-platform google-cloud-pubsub google-cloud-dataflow

2
推荐指数
1
解决办法
670
查看次数

启动 Dataflow Flex 模板时图像引用不正确

我们正在使用 Dataflow Flex 模板并遵循本指南 ( https://cloud.google.com/dataflow/docs/guides/templates/using-flex-templates ) 来暂存和启动作业。这在我们的环境中有效。但是,当我通过 SSH 连接到 Dataflow VM 并运行时,docker ps我看到它正在将不同的 docker 映像引用到我们在模板中指定的映像(以绿色下划线标出): 在 Dataflow 虚拟机上运行 docker ps

我正在启动的模板如下,工作是使用创建的gcloud beta dataflow flex-template run:

{
"image": "gcr.io/<MY PROJECT ID>/samples/dataflow/streaming-beam-sql:latest",
"metadata": {
    "description": "An Apache Beam streaming pipeline that reads JSON encoded messages from Pub/Sub, uses Beam SQL to transform the message data, and writes the results to a BigQuery",
    "name": "Streaming Beam SQL",
    "parameters": [
        {
            "helpText": "Pub/Sub subscription to read from.",
            "label": "Pub/Sub input subscription.",
            "name": "inputSubscription",
            "regexes": …
Run Code Online (Sandbox Code Playgroud)

google-cloud-platform google-cloud-dataflow

2
推荐指数
1
解决办法
454
查看次数