标签: google-cloud-dataflow

数据流映射侧输入问题

我在使用 DataflowRunner 创建 Map PCollectionView 时遇到问题。

下面的管道将 unbouded 计数输入与来自侧输入的值(包含 10 个生成的值)聚合在一起。在 gcp 上运行管道时,它会卡在 View.asMap() 转换中。更具体地说, ParDo(StreamingPCollectionViewWriter) 没有任何输出。

我用 dataflow 2.0.0-beta3 和 beam-0.7.0-SNAPSHOT 尝试了这个,但没有任何结果。请注意,使用本地 DirectRunner 时,我的管道运行没有任何问题。

难道我做错了什么?感谢所有帮助,在此先感谢您帮助我!

public class SimpleSideInputPipeline {

    private static final Logger LOG = LoggerFactory.getLogger(SimpleSideInputPipeline.class);

    public interface Options extends DataflowPipelineOptions {}

    public static void main(String[] args) throws IOException {
        Options options = PipelineOptionsFactory.fromArgs(args).withValidation().as(Options.class);
        Pipeline pipeline = Pipeline.create(options);

        final PCollectionView<Map<Integer, String>> sideInput = pipeline
                .apply(CountingInput.forSubrange(0L, 10L))
                .apply("Create KV<Integer, String>",ParDo.of(new DoFn<Long, KV<Integer, String>>() {
                    @ProcessElement
                    public void processElement(ProcessContext c) { …
Run Code Online (Sandbox Code Playgroud)

google-cloud-dataflow apache-beam

5
推荐指数
1
解决办法
1641
查看次数

如何在 BigQuery 插入错误时崩溃/停止 DataFlow Pub/Sub 摄取

我正在寻找一种方法,使 Google DataFlow 作业在(特定)异常发生时停止从 Pub/Sub 摄取。

来自 Pub/Sub 的事件是通过PubsubIO.Read.Bound<TableRow>using读取的 JSONTableRowJsonCoder并通过 BigQueryIO.Write.Bound. (有一个ParDo中间改变一个字段的内容和一些按天发生的自定义分区,但这应该与此目的无关。)

当从 PubSub 摄取的事件/行中的字段不是目标 BigQuery 表中的列时,DataFlow 作业在运行时记录 IOExceptions,声称它无法插入行,但似乎确认这些消息并继续运行。

我想要做的是停止从 Pub/Sub 摄取消息和/或使 Dataflow 作业崩溃,以便警报可以基于最旧的未确认消息的年龄。至少我想确保那些未能插入 BigQuery 的 Pub/Sub 消息没有被确认,以便我可以解决问题,重新启动 Dataflow 作业并再次使用这些消息。

我知道这里描述了一种处理错误输入的建议解决方案:https : //cloud.google.com/blog/big-data/2016/01/handling-invalid-inputs-in-dataflow

我也知道 Apache Beam 上的这个 PR 允许插入没有违规字段的行:https : //github.com/apache/beam/pull/1778

但是,在我的情况下,我并不是真的想防止错误输入,而是防止程序员错误,即新字段被添加到推送到 Pub/Sub 的 JSON 消息中,但相应的 DataFlow 作业没有更新。所以我并没有真正有错误的数据,我只是想当程序员犯了一个错误,在更改消息格式之前没有部署新的 Dataflow 作业时崩溃。

我认为可以(类似于博客文章解决方案)创建一个自定义ParDo来验证每一行并抛出一个未被捕获并导致崩溃的异常。

但理想情况下,我只想拥有一些不处理插入错误并记录它的配置,而只是使作业崩溃或至少停止摄取。

google-bigquery google-cloud-pubsub google-cloud-dataflow

5
推荐指数
1
解决办法
1119
查看次数

读取大量文件时,如何提高 TextIO 或 AvroIO 的性能?

TextIO.read() and AvroIO.read() (as well as some other Beam IO's) by default don't perform very well in current Apache Beam runners when reading a filepattern that expands into a very large number of files - for example, 1M files.

How can I read such a large number of files efficiently?

google-cloud-dataflow apache-beam apache-beam-io

5
推荐指数
1
解决办法
1254
查看次数

使用 Apache Beam 按键处理事件的总排序

问题背景

我试图从实时流中生成每个键的事件项的总(线性)顺序,其中顺序是事件时间(从事件有效负载派生)。

方法

我曾尝试使用流来实现这一点,如下所示:

1) 设置不重叠的顺序窗口,例如持续时间 5 分钟

2)建立一个允许的迟到——丢弃迟到的事件是可以的

3) 设置累积模式以保留所有已触发的窗格

4) 使用“AfterwaterMark”触发器

5) 处理触发窗格时,仅考虑最后一个窗格

6) 使用 GroupBy.perKey 确保此窗口中此键的所有事件将作为单个资源上的一个单元进行处理

虽然这种方法确保给定窗口内每个键的线性顺序,但它并不能保证跨多个窗口,例如,可能有一个键的事件窗口,发生在与较早窗口同时处理之后,如果第一个窗口失败并且必须重试,这很容易发生。

我正在考虑采用这种方法,首先可以处理实时流,以便它按键对事件进行分区,并将它们写入以窗口范围命名的文件中。由于光束处理的并行特性,这些文件也会乱序生成。然后,单个流程协调器可以将这些文件按顺序提交到批处理管道 - 只有在收到前一个文件并且其下游处理已成功完成时才提交下一个文件。

问题是 Apache Beam 只会在该时间窗口中至少有一个时间元素时触发窗格。因此,如果事件中存在间隙,则生成的文件中可能存在间隙 - 即丢失的文件。丢失文件的问题在于,协调批处理器无法区分时间窗口是否已经过去而没有数据,或者是否出现故障,在这种情况下,直到文件最终到达它才能继续进行。

强制事件窗口触发的一种方法可能是以某种方式将虚拟事件添加到每个分区和时间窗口的流中。然而,这很难做到……如果时间序列中有很大的差距,那么如果这些虚拟事件发生在很晚的事件周围,那么它们将被视为迟到而被丢弃。

是否有其他方法可以确保每个可能的事件窗口都有触发器,即使这会导致输出空文件?

从实时流中按键生成总排序是 Apache Beam 的一个容易处理的问题吗?我应该考虑另一种方法吗?

google-cloud-dataflow apache-beam

5
推荐指数
1
解决办法
2348
查看次数

Big Query 中的 WRITE_TRUNCATE 行为

我对Big Query 中的WRITE_TRUNCATE行为有疑问。

我有一个很大的查询表(T1),我定期将日志数据附加到它(每条日志行一行)。我想要一个数据流作业 ( D1 ) 从这个表中读取,删除任何重复的行并执行其他数据清理操作,然后将其输出到另一个大查询表 ( T2 ),替换可能已经存在于此的任何数据桌子。我相信我可以通过在数据流作业中的 BigQuery.IO 接收器中使用WRITE_TRUNCATE 写入配置来做到这一点。

问题是,如果我有另一个数据流作业 ( D2 ) 从表T2读取,而作业D1正在写入截断该表的中间,则D2看到什么数据,即它是否看到表处于它所处的状态在截断之前或截断完成之后。或者它可以在截断期间的任何步骤中看到表格(例如通过附加新数据的一部分)?

上面链接的 javadoc 表明截断可能不是原子的,而Big Query的REST 文档表明它是原子的。

google-bigquery google-cloud-dataflow

5
推荐指数
1
解决办法
3472
查看次数

如何在 Apache Beam Python 中获取窗口时间戳的结束

我正在从批处理日志数据中每 5 秒创建 20 秒长的滑动时间窗口:

    rows = p | 'read events' >> beam.io.Read(beam.io.BigQuerySource(query=query))

    # set timestamp field used for windowing and set 20 second long window every 5 seconds
    ts_rows = (rows | 'set timestamp' >> beam.ParDo(AddTimestampDoFn())
                    | 'set window' >> beam.WindowInto(window.SlidingWindows(20,5)))

    # extract only user id and relevant data, group and process
    rows_with_data = (ts_rows | 'extract data' >> beam.FlatMap(lambda row: 
                                [(str(row['user_id']),[row['data1'], row['data2'],row['data3']])])
                              | 'group by user id' >> beam.GroupByKey()
                              | 'Process window' >> beam.ParDo(WindowDataProcessingDoFn()))
Run Code Online (Sandbox Code Playgroud)

如何在 Python 中访问每个窗口的时间戳信息?(Java 的答案在这里,但我不知道如何将其翻译成 …

python google-cloud-dataflow apache-beam

5
推荐指数
1
解决办法
2819
查看次数

解释与 Cloud Dataflow 一起使用时 Google Cloud PubSub 的成本

关于pubsub 定价的文档非常少。有人可以解释以下场景的成本吗?

  • 每个事件的数据大小 = 0.5 KB
  • 每天的数据大小 = 1 TB

只有一个发布者应用程序和两个数据流管道订阅。

我能想出的非常粗略的估计是:

  • 1x 出版
  • 2x 订阅(每个订阅 1x)
  • 2x 确认(每个订阅确认 1x)

问题是:

  1. 每月总数据量是否为 150 (30* 1 TB * 5x) TB?这是价格计算器每月 8000 美元。
  2. 1 KB 最小计算大小是否适用于确认消息?
  3. Dataflow 在 ParDos 包中处理订阅/确认。但是,每个消息的包是否单独确认?

google-cloud-pubsub google-cloud-dataflow

5
推荐指数
0
解决办法
2370
查看次数

数据流中的 JNI

我需要在我的 Dataflow 管道中使用 JNI。JNI 使用 C++ 库,该库对其他系统库有大量外部依赖。当工作人员运行使用 C++ 库的 DoFn 时,确保库位于操作系统中应位于的位置的最佳方法是什么?

我发现DataflowPipelineOptions.setWorkerHarnessContainerImage可能允许我从Google Container Registry指定自定义 docker 映像,我可以在其上安装大量库,但文档没有说明更多。在安装的包、入口点等方面对 docker 镜像有什么要求吗?

java-native-interface google-cloud-dataflow apache-beam

5
推荐指数
1
解决办法
435
查看次数

用于 Google Cloud Dataflow 工作器的自定义虚拟机映像

浏览了 Google Cloud Dataflow 文档后,我的印象是工作虚拟机运行特定的预定义 Python 2.7 环境,而没有任何选项可以更改它。是否可以为工作人员提供自定义 VM 映像(使用库、特定应用程序需要的外部命令构建)。是否可以在 Gcloud Dataflow 上运行 Python 3?

google-cloud-dataflow

5
推荐指数
1
解决办法
1631
查看次数

在 CI 管道中部署 Dataflow

我使用 beam SDK 在 python 中编写了一个流式 Google Dataflow 管道。有文档介绍了如何在本地运行它并设置标志-runner以在数据流上运行它。

我现在正在尝试将其自动部署到 CI 管道(bitbucket 管道,但并不真正相关)。有关于如何“运行”管道的文档,但没有真正“部署”它。我测试过的命令如下所示:

python -m dataflow --runner "DataflowRunner" \
                   --jobName "<jobName>" \
                   --topic "<pub-sub-topic"" \
                   --project "<project>" \
                   --dataset "<dataset>" \
                   --worker_machine_type "n1-standard-2" \
                   --temp_location "gs://<bucket-name>/tmp/"
Run Code Online (Sandbox Code Playgroud)

这将运行该作业,但由于它是流式传输,因此它永远不会返回。它还在内部管理包装并推送到桶中。我知道如果我杀死该进程,它会继续运行,但是在 CI 服务器上设置它,以便我可以检测该进程是否真正成功,或者我只是在超时后杀死它,这是很困难的。

这看起来很荒谬,就像我遗漏了一些明显的东西,但是如何在数据流上打包并运行这个模块,以便我可以可靠地知道它是从 CI 管道部署的?

python google-cloud-dataflow

5
推荐指数
1
解决办法
1063
查看次数