标签: google-cloud-dataflow

基于公共密钥分析数据的简单方法

处理映射到特定键的所有记录并输出该数据的多个记录的最简单方法是什么.

例如(合成示例),假设我的密钥是日期,并且值是具有测量温度的日内时间戳.我想在一天内将温度分类为高/平均/低(再次,低于/高于平均值1 stddev).

输出将是原始温度及其新分类.

使用Combine.PerKey(CombineFn),每个键只允许使用#extractOutput()方法输出一个输出.

谢谢

google-cloud-dataflow

2
推荐指数
1
解决办法
254
查看次数

谷歌云数据流从压缩数据中读取数据

我正在尝试使用谷歌云数据流从GCS读取数据并加载到BigQuery表,但GCS中的文件是压缩的(gzip),是否有任何类可用于从压缩/ gzip文件中读取数据?

谢谢!

google-cloud-dataflow

2
推荐指数
1
解决办法
338
查看次数

"调用带有未知视图的sideInput()"异常,即使我正在通过视图?

代码如下所示:

return pcol.apply(ParDo.named("FindTheBug")
        .withSideInputs(foo)
        .withSideInputs(bar(
        .of(new DoFn<T, U>() {
            F myFoo = c.sideInput(foo);
            B myBar = c.sideInput(bar);
Run Code Online (Sandbox Code Playgroud)

声明这些侧输入,为什么Dataflow没有看到它们?

java google-cloud-dataflow apache-beam

2
推荐指数
1
解决办法
301
查看次数

使用云服务进行并行文件处理

我有很多图像,我需要通过java程序来创建更多的图像文件 - 一个令人尴尬的平行案例.每个输入文件大约500 MB,在处理过程中需要大约4 GB的内存,运行需要30秒到2分钟.java程序是多线程的,但是通过并行输入文件而不是使用更多线程获得更多收益.我需要每天多次启动进程(我不想手动打开/关闭群集,也不想全天候付费).

我在各种云选项中有点迷失:

  • 亚马逊lambda系统资源不足(内存不足).
  • 谷歌云数据流,看来我不得不写我自己的管道源用自己的云端存储分区.很好,但我不想浪费时间做这个,如果它不是一个合适的解决方案(它可能是,我还不能说).
  • 亚马逊数据管道看起来与Google Cloud DataFlow等效.(在编辑中添加了完整性.)
  • Google Cloud Dataproc,这不是map/reduce hadoop-y情况,但可能会有效.我宁愿不管理我自己的集群.
  • 使用自动扩展的Google计算引擎或AWS,我只是启动计算机上每个核心的进程.来自我的更多管理,但没有API可供学习.
  • 微软数据湖尚未发布,看起来已经没有了.
  • 微软批处理似乎很合适(但我问,因为我仍然对其他选项感到好奇).

任何人都可以建议适当的解决方案吗?

azure amazon-web-services google-compute-engine google-cloud-dataflow google-cloud-dataproc

2
推荐指数
1
解决办法
340
查看次数

Google Cloud Dataflow中的临时文件

我正在尝试在执行Dataflow作业的工作人员上写临时文件,但似乎在作业仍在运行时这些文件已被删除。如果我通过SSH进入正在运行的VM,则可以执行完全相同的文件生成命令,并且文件不会被破坏-也许这只是对数据流运行器用户的清除。是否可以使用临时文件,或者这是平台限制吗?

具体来说,我正在尝试写入所返回的位置Files.createTempDir(),即/tmp/someidentifier。

编辑:不确定我发布时发生了什么,但是Files.createTempDirectory()可以...

google-cloud-dataflow

2
推荐指数
1
解决办法
1262
查看次数

允许用户写入对gcp数据流项目的访问权限

在这里关注gcp数据流的快速入门

在此处执行示例脚本时遇到以下错误

使用此命令

declare -r PROJECT="beam-test"
declare -r BUCKET="gs://my-beam-test-bucket"

echo
set -v -e

python -m apache_beam.examples.wordcount \
  --project $PROJECT \
  --job_name $PROJECT-wordcount \
  --runner DataflowRunner \
  --staging_location $BUCKET/staging \
  --temp_location $BUCKET/temp \
  --output $BUCKET/output
Run Code Online (Sandbox Code Playgroud)

这会导致此错误:

 http_response.request_url, method_config, request)
apitools.base.py.exceptions.HttpError: HttpError accessing <https://dataflow.googleapis.com/v1b3/projects/beam-test/locations/us-central1/jobs?alt=json>: response: <{'status': '403', 'content-length': '284', 'x-xss-protection': '1; mode=block', 'x-content-type-options': 'nosniff', 'transfer-encoding': 'chunked', 'vary': 'Origin, X-Origin, Referer', 'server': 'ESF', '-content-encoding': 'gzip', 'cache-control': 'private', 'date': 'Fri, 31 Mar 2017 15:52:54 GMT', 'x-frame-options': 'SAMEORIGIN', 'alt-svc': …
Run Code Online (Sandbox Code Playgroud)

google-cloud-platform google-cloud-dataflow

2
推荐指数
1
解决办法
1779
查看次数

如何在Dataflow / Beam中的gcs中将结果写入JSON文件

我正在使用Python Beam SDK 0.6.0。我想将输出写入Google Cloud Storage中的JSON。做这个的最好方式是什么?

我可以WriteToText在Text IO接收器中使用,但是然后我必须分别格式化每一行,对吗?如何将结果保存到包含对象列表的有效JSON文件中?

python json google-cloud-storage google-cloud-dataflow apache-beam

2
推荐指数
2
解决办法
2559
查看次数

从数据流到BigQuerySource的简单查询引发异常

我正在尝试编写一个利用类中的query参数的简单数据流作业BigQuerySource。

简单来说,我可以使用BigQuerySource该类访问BigQuery表,然后对其进行过滤。我无法使用来直接针对BigQuery表查询/过滤BigQuerySource。

这是一些代码。在我的Dataflow管道中进行在线过滤可以正常工作:

import argparse
import apache_beam as beam

parser = argparse.ArgumentParser()
parser.add_argument('--output', required=True)
known_args, pipeline_args = parser.parse_known_args(None)    
p = beam.Pipeline(argv=pipeline_args)

source = 'bigquery-public-data:samples.shakespeare'
rows = p | 'read'>>beam.io.Read(beam.io.BigQuerySource(source))
f = rows | 'filter' >> beam.Map(lambda row: 1 if (row['word_count'] > 1) else 0) 

f | 'write' >> beam.io.WriteToText(known_args.output)    
p.run()
Run Code Online (Sandbox Code Playgroud)

用单行查询替换该中间节会产生错误。

f = p | 'read' >> beam.io.Read(beam.io.BigQuerySource('SELECT 1 FROM ' \
    + 'bigquery-public-data:samples.shakespeare where word_count > 1'))
Run Code Online (Sandbox Code Playgroud)

返回的错误看起来像语法错误。

(a29eabc394a38f62): Workflow failed. …
Run Code Online (Sandbox Code Playgroud)

google-bigquery google-cloud-platform google-cloud-dataflow

2
推荐指数
1
解决办法
378
查看次数

如何在beam sdk 2.0中创建自定义Combine.PerKey

我们想出了如何在beam sdk 2.0中创建自定义组合函数(经过大量猜测和梁sdk 2.0代码读取之后),因为数据流sdk 1.x语法在sdk 2.0中不起作用.

但是,我们无法弄清楚如何在beam sdk 2.0中创建自定义组合PER KEY功能.任何帮助或指针(或更好的实际例子)将不胜感激.(我们搜索了互联网上的文档或示例,但没有发现;我们也试图查看beam sdk 2.0的Combine类中的代码,但无法弄清楚,特别是因为PerKey类现在有一个私有构造函数,所以我们不能再延长它了.)

如果它有帮助,这里是我们如何在beam sdk 2.0中正确创建自定义组合器(没有)键,但我们无法弄清楚如何使用键创建一个:

public class CombineTemplateIntervalsIntoBlocks
        extends Combine.AccumulatingCombineFn<ImmutableMySetOfIntervals, TemplateIntervalAccum, ArrayList<ImmutableMySetOfIntervals>>{


    public CombineTemplateIntervalsIntoBlocks() {
    }

    @Override
    public TemplateIntervalAccum createAccumulator() {
        return new TemplateIntervalAccum()
    }
Run Code Online (Sandbox Code Playgroud)

然后

public class TemplateIntervalAccum
        implements Combine.AccumulatingCombineFn.Accumulator<ImmutableMySetOfIntervals, TemplateIntervalAccum, ArrayList<ImmutableMySetOfIntervals>>, Serializable {
...
Run Code Online (Sandbox Code Playgroud)

google-cloud-dataflow

2
推荐指数
1
解决办法
979
查看次数

Google-cloud-dataflow:为什么管道使用DirectRunner运行两次?

给定如下数据集

{"slot":"reward","result":1,"rank":1,"isLandscape":false,"p_type":"main","level":1276,"type":"ba","seqNum":42544}
{"slot":"reward_dlg","result":1,"rank":1,"isLandscape":false,"p_type":"main","level":1276,"type":"ba","seqNum":42545}
Run Code Online (Sandbox Code Playgroud)

我尝试通过过滤这些json数据type:ba并将其插入到使用python sdk的bigquery中

ba_schema = 'slot:STRING,result:INTEGER,play_type:STRING,level:INTEGER'

class ParseJsonDoFn(beam.DoFn):
    B_TYPE = 'tag_B'
    def process(self, element):
        text_line = element.trip()
        data = json.loads(text_line)

        if data['type'] == 'ba':
            ba = {'slot': data['slot'], 'result': data['result'], 'p_type': data['p_type'], 'level': data['level']}
            yield pvalue.TaggedOutput(self.B_TYPE, ba)

def run():
    parser = argparse.ArgumentParser()
    parser.add_argument('--input',
                      dest='input',
                      default='data/path/data',
                      help='Input file to process.')
    known_args, pipeline_args = parser.parse_known_args(argv)
    pipeline_args.extend([
      '--runner=DirectRunner',
      '--project=project-id',
      '--job_name=data-job',
    ])
    pipeline_options = PipelineOptions(pipeline_args)
    pipeline_options.view_as(SetupOptions).save_main_session = True
    with beam.Pipeline(options=pipeline_options) as p:
        lines = p | ReadFromText(known_args.input)

        multiple_lines = ( …
Run Code Online (Sandbox Code Playgroud)

google-cloud-dataflow apache-beam

2
推荐指数
1
解决办法
677
查看次数