标签: google-cloud-dataflow

是否有可用于Google Cloud Dataflow的文档?

Google Cloud Dataflow已于2014年6月发布(此博客文章中提供了更多信息),但我在cloud.google.com网站的开发人员部分找不到任何技术文档:https://cloud.google.com/ 开发商/

有谁知道我在哪里可以找到有关该产品的更多信息,技术文档?

我真的很感兴趣拓扑的工作原理,它是静态的还是动态的?等等.

在此输入图像描述

google-cloud-platform google-cloud-dataflow

1
推荐指数
1
解决办法
451
查看次数

我如何知道设置了多少个VM来运行我的数据流作业?

我使用数据流服务来运行我的工作来从GCS读取数据并写入BQ表,成功运行作业,我想知道如何或在哪里可以找到谷歌为我的工作设置了多少个虚拟机?

谢谢.

google-cloud-dataflow

1
推荐指数
1
解决办法
100
查看次数

Google Dataflow定价

我最近开始研究一个新项目的数据流(很棒的东西,到目前为止给它留下了深刻的印象!)但我今天早上检查了计费页面进入开发控制台时进行了实际检查.

我上周开始使用Dataflow,通过Eclipse启动所有管道执行插件.到目前为止,我已经推出了以下42个职位:

Streaming ----- Nov 17, 2015, 3:20:37 PM ----- 12 min 20 sec
Streaming ----- Nov 17, 2015, 1:45:49 PM ----- 1 hr 36 min
Streaming ----- Nov 17, 2015, 1:25:25 PM ----- 21 min 0 sec
Streaming ----- Nov 17, 2015, 9:30:36 AM ----- 25 min 14 sec
Streaming ----- Nov 16, 2015, 4:44:09 PM ----- 29 min 27 sec
Streaming ----- Nov 16, 2015, 4:40:16 PM ----- 3 min 48 sec
Streaming ----- Nov 16, 2015, 4:37:32 …
Run Code Online (Sandbox Code Playgroud)

google-cloud-platform google-cloud-dataflow

1
推荐指数
1
解决办法
697
查看次数

用于实时处理的Google Cloud Dataflow延迟

在我们只对高流量Google Dataflow群集进行简单转换并且每个"数据点"都很小的情况下,我们可以预期Dataflow的延迟有多低.

我们计划使用Sessions窗口策略,间隔持续时间为3秒,如果相关的话.

从数据点到数据流的时间到输出结果可能少于2秒是否现实?不到1秒?

google-cloud-dataflow

1
推荐指数
1
解决办法
852
查看次数

通过读取gcs存储桶可以在每个窗口更新Dataflow sideInput吗?

我目前正在通过从gcs存储桶中读取过滤信息并将其作为侧输入传递到我的管道的不同阶段来创建PCollectionView,以便过滤输出.如果gcs存储桶中的文件发生更改,我希望当前运行的管道使用此新的过滤器信息.如果我的过滤器发生变化,有没有办法在每个新的数据窗口更新这个PCollectionView?我以为我可以在startBundle中做到这一点,但我无法弄清楚它是如何或是否可能.如果有可能,你能举个例子吗?

PCollectionView<Map<String, TagObject>> 
    tagMapView =
        pipeline.apply(TextIO.Read.named("TagListTextRead")
                                  .from("gs://tag-list-bucket/tag-list.json"))
                .apply(ParDo.named("TagsToTagMap").of(new Tags.BuildTagListMapFn()))
                .apply("MakeTagMapView", View.asSingleton());
PCollection<String> 
    windowedData =
        pipeline.apply(PubsubIO.Read.topic("myTopic"))
                .apply(Window.<String>into(
                              SlidingWindows.of(Duration.standardMinutes(15))
                                            .every(Duration.standardSeconds(31))));
PCollection<MY_DATA> 
    lineData = windowedData
        .apply(ParDo.named("ExtractJsonObject")
            .withSideInputs(tagMapView)
            .of(new ExtractJsonObjectFn()));
Run Code Online (Sandbox Code Playgroud)

google-cloud-dataflow

1
推荐指数
1
解决办法
865
查看次数

在数据流作业中的所有步骤完成后删除bigquery表

有没有办法在批量数据流管道中的所有步骤都成功后删除bigquery表?

google-bigquery google-cloud-dataflow

1
推荐指数
1
解决办法
167
查看次数

在一个Dataflow作业中写入和读取BigQuery

在为Dataflow构建管道时,我有一个看似简单的问题.我有多个管道从外部源获取数据,转换数据并将其写入几个BigQuery表.完成此过程后,我想运行一个查询刚刚生成的表的查询.理想情况下,我希望这可以在同一份工作中发生.

这是Dataflow的使用方式,还是应该在作业之间分配对BigQuery的加载和表的查询?

如果在同一个工作中这是可能的,那么如何解决这个问题,因为BigQuerySink不会生成PCollection?如果在同一个作业中无法做到这一点,是否有某种方法可以在完成另一个作业(即写作和查询作业)时触发作业?

python google-bigquery google-cloud-dataflow

1
推荐指数
1
解决办法
494
查看次数

大numpy矩阵作为数据流侧输入

我正在尝试用Python编写一个数据流管道,该管道需要一个大的numpy矩阵作为辅助输入。矩阵保存在云存储中。理想情况下,每个Dataflow工作人员都可以直接从云存储中加载矩阵。

我的理解是,如果我说matrix = np.load(LOCAL_PATH_TO_MATRIX),然后

p | "computation" >> beam.Map(computation, matrix)
Run Code Online (Sandbox Code Playgroud)

矩阵从我的笔记本电脑运送到每个Datflow工作人员。

我该如何指导每个工作人员直接从云存储中加载矩阵?有用于“二进制斑点”的光束源吗?

google-cloud-dataflow apache-beam

1
推荐指数
1
解决办法
784
查看次数

如何使用Cloud Dataflow将两个或多个密钥上的BQ表连接起来?

我有两个表A和B.它们都有字段session_id和cookie_id.如何创建一个连接表的输出上的B加入一个session_id,cookie_id用数据流的管道的帮助?CoGroupByKey方法允许您加入单个键.在文档中找不到任何有用的东西.

java google-bigquery google-cloud-platform google-cloud-dataflow

1
推荐指数
1
解决办法
486
查看次数

读取CSV并从Apache Beam写入BigQuery

我有一个GCS存储桶,我正试图从其中读取约200k个文件,然后将它们写入BigQuery。问题是我在创建与代码配合良好的PCollection时遇到了麻烦。我正在按照本教程进行参考。

我有以下代码:

from __future__ import absolute_import

import argparse
import logging
import os

from past.builtins import unicode

import apache_beam as beam
from apache_beam.io import ReadFromText, ReadAllFromText
from apache_beam.io import WriteToText
from apache_beam.metrics import Metrics
from apache_beam.metrics.metric import MetricsFilter
from apache_beam.options.pipeline_options import PipelineOptions
from apache_beam.options.pipeline_options import SetupOptions
from google.cloud import storage

import regex as re

# storage_client = storage.Client()
# bucket = storage_client.get_bucket('mybucket')
#
# blobs = bucket.list_blobs()
# l=list(blobs)
# x=[y.name for y in l]
# c=x[1:]
# print(len(c)) …
Run Code Online (Sandbox Code Playgroud)

python google-bigquery google-cloud-dataflow apache-beam

1
推荐指数
1
解决办法
554
查看次数