处理映射到特定键的所有记录并输出该数据的多个记录的最简单方法是什么.
例如(合成示例),假设我的密钥是日期,并且值是具有测量温度的日内时间戳.我想在一天内将温度分类为高/平均/低(再次,低于/高于平均值1 stddev).
输出将是原始温度及其新分类.
使用Combine.PerKey(CombineFn),每个键只允许使用#extractOutput()方法输出一个输出.
谢谢
我正在尝试使用谷歌云数据流从GCS读取数据并加载到BigQuery表,但GCS中的文件是压缩的(gzip),是否有任何类可用于从压缩/ gzip文件中读取数据?
谢谢!
代码如下所示:
return pcol.apply(ParDo.named("FindTheBug")
.withSideInputs(foo)
.withSideInputs(bar(
.of(new DoFn<T, U>() {
F myFoo = c.sideInput(foo);
B myBar = c.sideInput(bar);
Run Code Online (Sandbox Code Playgroud)
声明这些侧输入,为什么Dataflow没有看到它们?
我有很多图像,我需要通过java程序来创建更多的图像文件 - 一个令人尴尬的平行案例.每个输入文件大约500 MB,在处理过程中需要大约4 GB的内存,运行需要30秒到2分钟.java程序是多线程的,但是通过并行输入文件而不是使用更多线程获得更多收益.我需要每天多次启动进程(我不想手动打开/关闭群集,也不想全天候付费).
我在各种云选项中有点迷失:
任何人都可以建议适当的解决方案吗?
azure amazon-web-services google-compute-engine google-cloud-dataflow google-cloud-dataproc
我正在尝试在执行Dataflow作业的工作人员上写临时文件,但似乎在作业仍在运行时这些文件已被删除。如果我通过SSH进入正在运行的VM,则可以执行完全相同的文件生成命令,并且文件不会被破坏-也许这只是对数据流运行器用户的清除。是否可以使用临时文件,或者这是平台限制吗?
具体来说,我正在尝试写入所返回的位置Files.createTempDir(),即/tmp/someidentifier。
编辑:不确定我发布时发生了什么,但是Files.createTempDirectory()可以...
使用此命令
declare -r PROJECT="beam-test"
declare -r BUCKET="gs://my-beam-test-bucket"
echo
set -v -e
python -m apache_beam.examples.wordcount \
--project $PROJECT \
--job_name $PROJECT-wordcount \
--runner DataflowRunner \
--staging_location $BUCKET/staging \
--temp_location $BUCKET/temp \
--output $BUCKET/output
Run Code Online (Sandbox Code Playgroud)
这会导致此错误:
http_response.request_url, method_config, request)
apitools.base.py.exceptions.HttpError: HttpError accessing <https://dataflow.googleapis.com/v1b3/projects/beam-test/locations/us-central1/jobs?alt=json>: response: <{'status': '403', 'content-length': '284', 'x-xss-protection': '1; mode=block', 'x-content-type-options': 'nosniff', 'transfer-encoding': 'chunked', 'vary': 'Origin, X-Origin, Referer', 'server': 'ESF', '-content-encoding': 'gzip', 'cache-control': 'private', 'date': 'Fri, 31 Mar 2017 15:52:54 GMT', 'x-frame-options': 'SAMEORIGIN', 'alt-svc': …Run Code Online (Sandbox Code Playgroud) 我正在使用Python Beam SDK 0.6.0。我想将输出写入Google Cloud Storage中的JSON。做这个的最好方式是什么?
我可以WriteToText在Text IO接收器中使用,但是然后我必须分别格式化每一行,对吗?如何将结果保存到包含对象列表的有效JSON文件中?
python json google-cloud-storage google-cloud-dataflow apache-beam
我正在尝试编写一个利用类中的query参数的简单数据流作业BigQuerySource。
简单来说,我可以使用BigQuerySource该类访问BigQuery表,然后对其进行过滤。我无法使用来直接针对BigQuery表查询/过滤BigQuerySource。
这是一些代码。在我的Dataflow管道中进行在线过滤可以正常工作:
import argparse
import apache_beam as beam
parser = argparse.ArgumentParser()
parser.add_argument('--output', required=True)
known_args, pipeline_args = parser.parse_known_args(None)
p = beam.Pipeline(argv=pipeline_args)
source = 'bigquery-public-data:samples.shakespeare'
rows = p | 'read'>>beam.io.Read(beam.io.BigQuerySource(source))
f = rows | 'filter' >> beam.Map(lambda row: 1 if (row['word_count'] > 1) else 0)
f | 'write' >> beam.io.WriteToText(known_args.output)
p.run()
Run Code Online (Sandbox Code Playgroud)
用单行查询替换该中间节会产生错误。
f = p | 'read' >> beam.io.Read(beam.io.BigQuerySource('SELECT 1 FROM ' \
+ 'bigquery-public-data:samples.shakespeare where word_count > 1'))
Run Code Online (Sandbox Code Playgroud)
返回的错误看起来像语法错误。
(a29eabc394a38f62): Workflow failed. …Run Code Online (Sandbox Code Playgroud) 我们想出了如何在beam sdk 2.0中创建自定义组合函数(经过大量猜测和梁sdk 2.0代码读取之后),因为数据流sdk 1.x语法在sdk 2.0中不起作用.
但是,我们无法弄清楚如何在beam sdk 2.0中创建自定义组合PER KEY功能.任何帮助或指针(或更好的实际例子)将不胜感激.(我们搜索了互联网上的文档或示例,但没有发现;我们也试图查看beam sdk 2.0的Combine类中的代码,但无法弄清楚,特别是因为PerKey类现在有一个私有构造函数,所以我们不能再延长它了.)
如果它有帮助,这里是我们如何在beam sdk 2.0中正确创建自定义组合器(没有)键,但我们无法弄清楚如何使用键创建一个:
public class CombineTemplateIntervalsIntoBlocks
extends Combine.AccumulatingCombineFn<ImmutableMySetOfIntervals, TemplateIntervalAccum, ArrayList<ImmutableMySetOfIntervals>>{
public CombineTemplateIntervalsIntoBlocks() {
}
@Override
public TemplateIntervalAccum createAccumulator() {
return new TemplateIntervalAccum()
}
Run Code Online (Sandbox Code Playgroud)
然后
public class TemplateIntervalAccum
implements Combine.AccumulatingCombineFn.Accumulator<ImmutableMySetOfIntervals, TemplateIntervalAccum, ArrayList<ImmutableMySetOfIntervals>>, Serializable {
...
Run Code Online (Sandbox Code Playgroud) 给定如下数据集
{"slot":"reward","result":1,"rank":1,"isLandscape":false,"p_type":"main","level":1276,"type":"ba","seqNum":42544}
{"slot":"reward_dlg","result":1,"rank":1,"isLandscape":false,"p_type":"main","level":1276,"type":"ba","seqNum":42545}
Run Code Online (Sandbox Code Playgroud)
我尝试通过过滤这些json数据type:ba并将其插入到使用python sdk的bigquery中
ba_schema = 'slot:STRING,result:INTEGER,play_type:STRING,level:INTEGER'
class ParseJsonDoFn(beam.DoFn):
B_TYPE = 'tag_B'
def process(self, element):
text_line = element.trip()
data = json.loads(text_line)
if data['type'] == 'ba':
ba = {'slot': data['slot'], 'result': data['result'], 'p_type': data['p_type'], 'level': data['level']}
yield pvalue.TaggedOutput(self.B_TYPE, ba)
def run():
parser = argparse.ArgumentParser()
parser.add_argument('--input',
dest='input',
default='data/path/data',
help='Input file to process.')
known_args, pipeline_args = parser.parse_known_args(argv)
pipeline_args.extend([
'--runner=DirectRunner',
'--project=project-id',
'--job_name=data-job',
])
pipeline_options = PipelineOptions(pipeline_args)
pipeline_options.view_as(SetupOptions).save_main_session = True
with beam.Pipeline(options=pipeline_options) as p:
lines = p | ReadFromText(known_args.input)
multiple_lines = ( …Run Code Online (Sandbox Code Playgroud)