我使用数据流服务来运行我的工作来从GCS读取数据并写入BQ表,成功运行作业,我想知道如何或在哪里可以找到谷歌为我的工作设置了多少个虚拟机?
谢谢.
我最近开始研究一个新项目的数据流(很棒的东西,到目前为止给它留下了深刻的印象!)但我今天早上检查了计费页面进入开发控制台时进行了实际检查.
我上周开始使用Dataflow,通过Eclipse启动所有管道执行插件.到目前为止,我已经推出了以下42个职位:
Streaming ----- Nov 17, 2015, 3:20:37 PM ----- 12 min 20 sec
Streaming ----- Nov 17, 2015, 1:45:49 PM ----- 1 hr 36 min
Streaming ----- Nov 17, 2015, 1:25:25 PM ----- 21 min 0 sec
Streaming ----- Nov 17, 2015, 9:30:36 AM ----- 25 min 14 sec
Streaming ----- Nov 16, 2015, 4:44:09 PM ----- 29 min 27 sec
Streaming ----- Nov 16, 2015, 4:40:16 PM ----- 3 min 48 sec
Streaming ----- Nov 16, 2015, 4:37:32 …Run Code Online (Sandbox Code Playgroud) 在我们只对高流量Google Dataflow群集进行简单转换并且每个"数据点"都很小的情况下,我们可以预期Dataflow的延迟有多低.
我们计划使用Sessions窗口策略,间隔持续时间为3秒,如果相关的话.
从数据点到数据流的时间到输出结果可能少于2秒是否现实?不到1秒?
我目前正在通过从gcs存储桶中读取过滤信息并将其作为侧输入传递到我的管道的不同阶段来创建PCollectionView,以便过滤输出.如果gcs存储桶中的文件发生更改,我希望当前运行的管道使用此新的过滤器信息.如果我的过滤器发生变化,有没有办法在每个新的数据窗口更新这个PCollectionView?我以为我可以在startBundle中做到这一点,但我无法弄清楚它是如何或是否可能.如果有可能,你能举个例子吗?
PCollectionView<Map<String, TagObject>>
tagMapView =
pipeline.apply(TextIO.Read.named("TagListTextRead")
.from("gs://tag-list-bucket/tag-list.json"))
.apply(ParDo.named("TagsToTagMap").of(new Tags.BuildTagListMapFn()))
.apply("MakeTagMapView", View.asSingleton());
PCollection<String>
windowedData =
pipeline.apply(PubsubIO.Read.topic("myTopic"))
.apply(Window.<String>into(
SlidingWindows.of(Duration.standardMinutes(15))
.every(Duration.standardSeconds(31))));
PCollection<MY_DATA>
lineData = windowedData
.apply(ParDo.named("ExtractJsonObject")
.withSideInputs(tagMapView)
.of(new ExtractJsonObjectFn()));
Run Code Online (Sandbox Code Playgroud) 有没有办法在批量数据流管道中的所有步骤都成功后删除bigquery表?
在为Dataflow构建管道时,我有一个看似简单的问题.我有多个管道从外部源获取数据,转换数据并将其写入几个BigQuery表.完成此过程后,我想运行一个查询刚刚生成的表的查询.理想情况下,我希望这可以在同一份工作中发生.
这是Dataflow的使用方式,还是应该在作业之间分配对BigQuery的加载和表的查询?
如果在同一个工作中这是可能的,那么如何解决这个问题,因为BigQuerySink不会生成PCollection?如果在同一个作业中无法做到这一点,是否有某种方法可以在完成另一个作业(即写作和查询作业)时触发作业?
我正在尝试用Python编写一个数据流管道,该管道需要一个大的numpy矩阵作为辅助输入。矩阵保存在云存储中。理想情况下,每个Dataflow工作人员都可以直接从云存储中加载矩阵。
我的理解是,如果我说matrix = np.load(LOCAL_PATH_TO_MATRIX),然后
p | "computation" >> beam.Map(computation, matrix)
Run Code Online (Sandbox Code Playgroud)
矩阵从我的笔记本电脑运送到每个Datflow工作人员。
我该如何指导每个工作人员直接从云存储中加载矩阵?有用于“二进制斑点”的光束源吗?
我有两个表A和B.它们都有字段session_id和cookie_id.如何创建一个连接表的输出上的B加入一个session_id,cookie_id用数据流的管道的帮助?CoGroupByKey方法允许您加入单个键.在文档中找不到任何有用的东西.
java google-bigquery google-cloud-platform google-cloud-dataflow
我有一个GCS存储桶,我正试图从其中读取约200k个文件,然后将它们写入BigQuery。问题是我在创建与代码配合良好的PCollection时遇到了麻烦。我正在按照本教程进行参考。
我有以下代码:
from __future__ import absolute_import
import argparse
import logging
import os
from past.builtins import unicode
import apache_beam as beam
from apache_beam.io import ReadFromText, ReadAllFromText
from apache_beam.io import WriteToText
from apache_beam.metrics import Metrics
from apache_beam.metrics.metric import MetricsFilter
from apache_beam.options.pipeline_options import PipelineOptions
from apache_beam.options.pipeline_options import SetupOptions
from google.cloud import storage
import regex as re
# storage_client = storage.Client()
# bucket = storage_client.get_bucket('mybucket')
#
# blobs = bucket.list_blobs()
# l=list(blobs)
# x=[y.name for y in l]
# c=x[1:]
# print(len(c)) …Run Code Online (Sandbox Code Playgroud)