标签: google-cloud-dataflow

在 python Apache Beam 中打开一个 gzip 文件

目前是否可以使用 Apache Beam 从 python 中的 gzip 文件中读取?我的管道正在使用以下代码行从 gcs 中提取 gzip 文件:

beam.io.Read(beam.io.TextFileSource('gs://bucket/file.gz', compression_type='GZIP')) 
Run Code Online (Sandbox Code Playgroud)

但我收到此错误:

UnicodeDecodeError: 'utf8' codec can't decode byte 0x8b in position 1: invalid start byte
Run Code Online (Sandbox Code Playgroud)

我们在 python beam 源代码中注意到,在写入接收器时似乎处理了压缩文件。 https://github.com/apache/incubator-beam/blob/python-sdk/sdks/python/apache_beam/io/fileio.py#L445

更详细的追溯:

Traceback (most recent call last):
  File "beam-playground.py", line 11, in <module>
    p.run() 
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/apache_beam/pipeline.py", line 159, in run
    return self.runner.run(self)
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/apache_beam/runners/direct_runner.py", line 103, in run
    super(DirectPipelineRunner, self).run(pipeline)
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/apache_beam/runners/runner.py", line 98, in run
    pipeline.visit(RunVisitor(self))
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/apache_beam/pipeline.py", line 182, in visit
    self._root_transform().visit(visitor, self, visited)
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/apache_beam/pipeline.py", …
Run Code Online (Sandbox Code Playgroud)

python dataflow google-cloud-dataflow apache-beam

5
推荐指数
1
解决办法
3360
查看次数

数据流映射侧输入问题

我在使用 DataflowRunner 创建 Map PCollectionView 时遇到问题。

下面的管道将 unbouded 计数输入与来自侧输入的值(包含 10 个生成的值)聚合在一起。在 gcp 上运行管道时,它会卡在 View.asMap() 转换中。更具体地说, ParDo(StreamingPCollectionViewWriter) 没有任何输出。

我用 dataflow 2.0.0-beta3 和 beam-0.7.0-SNAPSHOT 尝试了这个,但没有任何结果。请注意,使用本地 DirectRunner 时,我的管道运行没有任何问题。

难道我做错了什么?感谢所有帮助,在此先感谢您帮助我!

public class SimpleSideInputPipeline {

    private static final Logger LOG = LoggerFactory.getLogger(SimpleSideInputPipeline.class);

    public interface Options extends DataflowPipelineOptions {}

    public static void main(String[] args) throws IOException {
        Options options = PipelineOptionsFactory.fromArgs(args).withValidation().as(Options.class);
        Pipeline pipeline = Pipeline.create(options);

        final PCollectionView<Map<Integer, String>> sideInput = pipeline
                .apply(CountingInput.forSubrange(0L, 10L))
                .apply("Create KV<Integer, String>",ParDo.of(new DoFn<Long, KV<Integer, String>>() {
                    @ProcessElement
                    public void processElement(ProcessContext c) { …
Run Code Online (Sandbox Code Playgroud)

google-cloud-dataflow apache-beam

5
推荐指数
1
解决办法
1641
查看次数

如何在 BigQuery 插入错误时崩溃/停止 DataFlow Pub/Sub 摄取

我正在寻找一种方法,使 Google DataFlow 作业在(特定)异常发生时停止从 Pub/Sub 摄取。

来自 Pub/Sub 的事件是通过PubsubIO.Read.Bound<TableRow>using读取的 JSONTableRowJsonCoder并通过 BigQueryIO.Write.Bound. (有一个ParDo中间改变一个字段的内容和一些按天发生的自定义分区,但这应该与此目的无关。)

当从 PubSub 摄取的事件/行中的字段不是目标 BigQuery 表中的列时,DataFlow 作业在运行时记录 IOExceptions,声称它无法插入行,但似乎确认这些消息并继续运行。

我想要做的是停止从 Pub/Sub 摄取消息和/或使 Dataflow 作业崩溃,以便警报可以基于最旧的未确认消息的年龄。至少我想确保那些未能插入 BigQuery 的 Pub/Sub 消息没有被确认,以便我可以解决问题,重新启动 Dataflow 作业并再次使用这些消息。

我知道这里描述了一种处理错误输入的建议解决方案:https : //cloud.google.com/blog/big-data/2016/01/handling-invalid-inputs-in-dataflow

我也知道 Apache Beam 上的这个 PR 允许插入没有违规字段的行:https : //github.com/apache/beam/pull/1778

但是,在我的情况下,我并不是真的想防止错误输入,而是防止程序员错误,即新字段被添加到推送到 Pub/Sub 的 JSON 消息中,但相应的 DataFlow 作业没有更新。所以我并没有真正有错误的数据,我只是想当程序员犯了一个错误,在更改消息格式之前没有部署新的 Dataflow 作业时崩溃。

我认为可以(类似于博客文章解决方案)创建一个自定义ParDo来验证每一行并抛出一个未被捕获并导致崩溃的异常。

但理想情况下,我只想拥有一些不处理插入错误并记录它的配置,而只是使作业崩溃或至少停止摄取。

google-bigquery google-cloud-pubsub google-cloud-dataflow

5
推荐指数
1
解决办法
1119
查看次数

读取大量文件时,如何提高 TextIO 或 AvroIO 的性能?

TextIO.read() and AvroIO.read() (as well as some other Beam IO's) by default don't perform very well in current Apache Beam runners when reading a filepattern that expands into a very large number of files - for example, 1M files.

How can I read such a large number of files efficiently?

google-cloud-dataflow apache-beam apache-beam-io

5
推荐指数
1
解决办法
1254
查看次数

使用 Apache Beam 按键处理事件的总排序

问题背景

我试图从实时流中生成每个键的事件项的总(线性)顺序,其中顺序是事件时间(从事件有效负载派生)。

方法

我曾尝试使用流来实现这一点,如下所示:

1) 设置不重叠的顺序窗口,例如持续时间 5 分钟

2)建立一个允许的迟到——丢弃迟到的事件是可以的

3) 设置累积模式以保留所有已触发的窗格

4) 使用“AfterwaterMark”触发器

5) 处理触发窗格时,仅考虑最后一个窗格

6) 使用 GroupBy.perKey 确保此窗口中此键的所有事件将作为单个资源上的一个单元进行处理

虽然这种方法确保给定窗口内每个键的线性顺序,但它并不能保证跨多个窗口,例如,可能有一个键的事件窗口,发生在与较早窗口同时处理之后,如果第一个窗口失败并且必须重试,这很容易发生。

我正在考虑采用这种方法,首先可以处理实时流,以便它按键对事件进行分区,并将它们写入以窗口范围命名的文件中。由于光束处理的并行特性,这些文件也会乱序生成。然后,单个流程协调器可以将这些文件按顺序提交到批处理管道 - 只有在收到前一个文件并且其下游处理已成功完成时才提交下一个文件。

问题是 Apache Beam 只会在该时间窗口中至少有一个时间元素时触发窗格。因此,如果事件中存在间隙,则生成的文件中可能存在间隙 - 即丢失的文件。丢失文件的问题在于,协调批处理器无法区分时间窗口是否已经过去而没有数据,或者是否出现故障,在这种情况下,直到文件最终到达它才能继续进行。

强制事件窗口触发的一种方法可能是以某种方式将虚拟事件添加到每个分区和时间窗口的流中。然而,这很难做到……如果时间序列中有很大的差距,那么如果这些虚拟事件发生在很晚的事件周围,那么它们将被视为迟到而被丢弃。

是否有其他方法可以确保每个可能的事件窗口都有触发器,即使这会导致输出空文件?

从实时流中按键生成总排序是 Apache Beam 的一个容易处理的问题吗?我应该考虑另一种方法吗?

google-cloud-dataflow apache-beam

5
推荐指数
1
解决办法
2348
查看次数

在 CI 管道中部署 Dataflow

我使用 beam SDK 在 python 中编写了一个流式 Google Dataflow 管道。有文档介绍了如何在本地运行它并设置标志-runner以在数据流上运行它。

我现在正在尝试将其自动部署到 CI 管道(bitbucket 管道,但并不真正相关)。有关于如何“运行”管道的文档,但没有真正“部署”它。我测试过的命令如下所示:

python -m dataflow --runner "DataflowRunner" \
                   --jobName "<jobName>" \
                   --topic "<pub-sub-topic"" \
                   --project "<project>" \
                   --dataset "<dataset>" \
                   --worker_machine_type "n1-standard-2" \
                   --temp_location "gs://<bucket-name>/tmp/"
Run Code Online (Sandbox Code Playgroud)

这将运行该作业,但由于它是流式传输,因此它永远不会返回。它还在内部管理包装并推送到桶中。我知道如果我杀死该进程,它会继续运行,但是在 CI 服务器上设置它,以便我可以检测该进程是否真正成功,或者我只是在超时后杀死它,这是很困难的。

这看起来很荒谬,就像我遗漏了一些明显的东西,但是如何在数据流上打包并运行这个模块,以便我可以可靠地知道它是从 CI 管道部署的?

python google-cloud-dataflow

5
推荐指数
1
解决办法
1063
查看次数

在谷歌云平台中运行数据流时“找不到方案gs的文件系统”

我正在 Google Cloud Platform(GCP)中运行我的 google dataflow 作业。当我在本地运行此作业时,它运行良好,但是当在 GCP 上运行它时,我收到此错误“java.lang.IllegalArgumentException:找不到方案 gs 的文件系统”。我可以访问该 google cloud URI,我可以将我的 jar 文件上传到该 URI,并且可以看到本地作业的一些临时文件。

我在 GCP 中的职位 ID:

2019-08-08_21_47_27-162804342585245230(光束版本:2.12.0)

2019-08-09_16_41_15-11728697820819900062(光束版本:2.14.0)

我尝试过beam版本2.12.0和2.14.0,它们都有相同的错误。


java.lang.IllegalArgumentException: No filesystem found for scheme gs
    at org.apache.beam.sdk.io.FileSystems.getFileSystemInternal(FileSystems.java:456)
    at org.apache.beam.sdk.io.FileSystems.matchNewResource(FileSystems.java:526)
    at org.apache.beam.sdk.io.gcp.bigquery.BigQueryHelpers.resolveTempLocation(BigQueryHelpers.java:689)
    at org.apache.beam.sdk.io.gcp.bigquery.BigQuerySourceBase.extractFiles(BigQuerySourceBase.java:125)
    at org.apache.beam.sdk.io.gcp.bigquery.BigQuerySourceBase.split(BigQuerySourceBase.java:148)
    at org.apache.beam.runners.dataflow.worker.WorkerCustomSources.splitAndValidate(WorkerCustomSources.java:284)
    at org.apache.beam.runners.dataflow.worker.WorkerCustomSources.performSplitTyped(WorkerCustomSources.java:206)
    at org.apache.beam.runners.dataflow.worker.WorkerCustomSources.performSplitWithApiLimit(WorkerCustomSources.java:190)
    at org.apache.beam.runners.dataflow.worker.WorkerCustomSources.performSplit(WorkerCustomSources.java:169)
    at org.apache.beam.runners.dataflow.worker.WorkerCustomSourceOperationExecutor.execute(WorkerCustomSourceOperationExecutor.java:78)
    at org.apache.beam.runners.dataflow.worker.BatchDataflowWorker.executeWork(BatchDataflowWorker.java:412)
    at org.apache.beam.runners.dataflow.worker.BatchDataflowWorker.doWork(BatchDataflowWorker.java:381)
    at org.apache.beam.runners.dataflow.worker.BatchDataflowWorker.getAndPerformWork(BatchDataflowWorker.java:306)
    at org.apache.beam.runners.dataflow.worker.DataflowBatchWorkerHarness$WorkerThread.doWork(DataflowBatchWorkerHarness.java:135)
    at org.apache.beam.runners.dataflow.worker.DataflowBatchWorkerHarness$WorkerThread.call(DataflowBatchWorkerHarness.java:115)
    at org.apache.beam.runners.dataflow.worker.DataflowBatchWorkerHarness$WorkerThread.call(DataflowBatchWorkerHarness.java:102)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)
Run Code Online (Sandbox Code Playgroud)

go google-cloud-platform google-cloud-dataflow apache-beam

5
推荐指数
2
解决办法
5401
查看次数

Apache Beam Python SDK 版本上的 Wait.On()

我在 Python 上使用 Apache Beam,想问一下Wait.on()Python SDK 上的 Apache Beam Java 相当于什么?

目前我对下面的代码片段有问题

    if len(output_pcoll) > 1:
        merged = (tuple(output_pcoll) |
                  'MergePCollections1' >> beam.Flatten())
    else:
        merged = output_pcoll[0]

    outlier_side_input = self.construct_outlier_side_input(merged)

    (merged |
     "RemoveOutlier" >>
     beam.ParDo(utils.Remove_Outliers(),
                beam.pvalue.AsDict(outlier_side_input)) |
     "WriteToCSV" >>
     beam.io.WriteToText('../../ML-DATA/{0}.{1}'.format(self.BUCKET,
                         self.OUTPUT), num_shards=1))
Run Code Online (Sandbox Code Playgroud)

看来 Apache Beam 不会等到代码self.construct_outlier_side_input执行完成,并在下一个管道中执行“RemoveOutlier”时导致空侧输入。在Java版本中你可以使用Wait.On()等待construct_outlier_side_input完成执行,但是我在Python SDK中找不到等效的方法。

--编辑--我想要实现的目标几乎与此链接中的相同, https://rmannibucau.metawerx.net/post/apache-beam-initialization-destruction-task

python google-cloud-dataflow apache-beam

5
推荐指数
1
解决办法
3867
查看次数

带单引号的 ADF 数据流连接表达式

我需要使用 Azure 数据流表达式生成器生成 SQL 字符串,但它不允许我使用 Concat 函数在字符串之间添加单引号

我需要一个如下的 SQL 字符串

SELECT * FROM ABC WHERE myDate <= '2019-10-10'
Run Code Online (Sandbox Code Playgroud)

这里 2019-10-10 来自参数,所以我构建的表达式如下

concat('SELECT * FROM ABC WHERE myDate >=','''',$ToDate,'''')
Run Code Online (Sandbox Code Playgroud)

但上面的语句无法解析表达式。

结果将作为 SQL 查询执行。SQL 查询不允许使用双引号。它必须是单引号。

使用数据工厂表达式可以轻松实现这一点,但使用天蓝色数据流表达式则无法实现。

sql expression quote google-cloud-dataflow azure-data-factory

5
推荐指数
1
解决办法
2万
查看次数

数据流项目中的 stackdriver 监控 api

我刚刚开始在 Google Cloud Dataflow 上使用 Apache Beam。我有一个使用计费帐户设置的项目。我计划使用该项目的唯一目的是: 1. 数据流 - 用于所有数据处理 2. pubsub - 用于导出 Stackdriver 日志以供 Datadog 使用

现在,当我写这篇文章时,我当前没有运行任何数据流作业。

回顾过去一个月,我发现数据流成本约为 15 美元,Stackdriver Monitor API 成本约为 18 美元。看起来 Stackdriver Monitor API 的固定价格接近 1.46 美元/天。

我很好奇如何减轻这种情况。我不认为我想要或不需要 Stackdriver Monitoring。是强制性的吗?此外,虽然我觉得我没有运行任何东西,但在过去的一个小时里我看到了这一点:

在此输入图像描述

所以我想问题是这些: 1. 这些调用是什么?2. 是否可以禁用数据流的 Stackdriver 监控或以其他方式降低成本?

google-cloud-platform google-cloud-dataflow stackdriver google-cloud-stackdriver

5
推荐指数
1
解决办法
807
查看次数