标签: google-cloud-dataflow

管道运行后移动文件

数据流管道运行完成后是否可以在 GCS 中移动文件?如果是这样,怎么办?应该是最后一个吧.apply?我无法想象事情会是这样。

这里的情况是我们从客户端导入大量 .csv 文件。我们需要无限期地保留这些 CSV,因此我们要么需要“将 CSV 标记为已处理”,要么将它们移出用于TextIO查找 CSV 的初始文件夹。我目前唯一能想到的就是在 BigQuery 中存储文件名(我不确定如何得到这个,我是 DF 新手),然后从执行中排除已经存储的文件管道不知何故?但必须有更好的方法。

这可能吗?我应该检查什么?

谢谢你的帮助!

google-cloud-dataflow

3
推荐指数
1
解决办法
1751
查看次数

在 Cloud Dataflow 中进行 ETL 和解析 CSV 文件

我是云数据流和 Java 的新手,所以我希望这是正确的问题。

我有一个 csv 文件,其中有 n 个列和行,可以是字符串、整数或时间戳。我需要为每一列创建一个新的 PCollection 吗?

我在示例中找到的大多数文档都类似于:

PCollection<String> data = p.apply(TextIO.Read.from("gs://abc/def.csv"));
Run Code Online (Sandbox Code Playgroud)

但对我来说,将整个 csv 文件作为字符串导入是没有意义的。我在这里缺少什么?我应该如何设置我的 PCollections?

csv google-cloud-dataflow

3
推荐指数
1
解决办法
3638
查看次数

使用 GlobalWindow 在 Beam 中进行状态垃圾收集

Apache Beam 最近通过注释引入了状态单元,并在Apache Flink 和 Google Cloud Dataflow 中提供了部分支持。StateSpec@StateId

我找不到任何有关将其与GlobalWindow. 特别是,有没有一种方法可以拥有“状态垃圾收集”机制,以根据某些配置摆脱一段时间未见过的键的状态,同时仍然保持已见过的键的单个历史状态足够频繁吗?

或者,在这种情况下使用的状态量是否会出现偏差,无法回收与一段时间未见过的键相对应的状态?

我还对 Apache Flink 或 Google Cloud Dataflow 是否支持潜在的解决方案感兴趣。

Flink 和 direct runner 似乎有一些“状态 GC”的代码,但我不太确定它的作用以及它在使用全局窗口时是否相关。

google-cloud-dataflow apache-flink apache-beam

3
推荐指数
1
解决办法
1507
查看次数

Google Dataflow:使用运行时参数创建模板

在数据流中,我需要将开始日期和结束日期作为运行时参数传递,并查询该日期范围的 bigquery 并将输出写入每日文件夹。

当我们使用 ValueProvider 时, getStartDate().get() 方法抛出 java.lang.RuntimeException: Not Called from a Runtime context。如果我在 getStartDate().get().isAccessible() 为 false 时硬编码某个值,则正在生成模板,但运行时参数未反映在作业中。在模板创建期间,它始终以硬编码值运行。

有什么建议 ?

google-cloud-platform google-cloud-dataflow

3
推荐指数
1
解决办法
1841
查看次数

在 Beam 中初始化外部服务连接

我正在编写一个数据流流管道。在其中一个转换中,DoFn 我想要访问外部服务 - 在本例中,它是数据存储区。

这种初始化步骤有没有最佳实践?我不想为每个 processElement 方法调用创建数据存储连接对象。

java google-cloud-datastore google-cloud-dataflow apache-beam

3
推荐指数
1
解决办法
1265
查看次数

使用 Python SDK 的数据流流:将 PubSub 消息转换为 BigQuery 输出

我正在尝试使用数据流读取 pubsub 消息并将其写入大查询。我获得了 Google 团队的 alpha 访问权限,并且已经使提供的示例正常工作,但现在我需要将其应用到我的场景中。

发布订阅负载:

Message {
    data: {'datetime': '2017-07-13T21:15:02Z', 'mac': 'FC:FC:48:AE:F6:94', 'status': 1}
    attributes: {}
}
Run Code Online (Sandbox Code Playgroud)

大查询架构:

schema='mac:STRING, status:INTEGER, datetime:TIMESTAMP',
Run Code Online (Sandbox Code Playgroud)

我的目标是简单地读取消息有效负载并插入到 bigquery 中。我正在努力了解转换以及如何将键/值映射到大查询模式。

我对此很陌生,因此非常感谢任何帮助。

当前代码: https: //codeshare.io/ayqX8w

谢谢!

python dataflow google-bigquery google-cloud-dataflow apache-beam

3
推荐指数
1
解决办法
4801
查看次数

Apache Beam TextIO glob 获取原始文件名

我已经设置了管道。我必须解析数百个 *.gz 文件。因此 glob 效果很好。

但我需要当前处理的文件的原始名称,因为我想将结果文件命名为原始文件。

有人能帮我一下吗?

这是我的代码。

@Default.String(LOGS_PATH + "*.gz")
String getInputFile();
void setInputFile(String value);


    TextIO.Read read = TextIO.read().withCompressionType(TextIO.CompressionType.GZIP).from(options.getInputFile());
        read.getName();

        p.apply("ReadLines", read).apply(new CountWords())
         .apply(MapElements.via(new FormatAsTextFn()))
         .apply("WriteCounts", TextIO.write().to(WordCountOptions.LOGS_PATH + "_" + options.getOutput()));

    p.run().waitUntilFinish();
Run Code Online (Sandbox Code Playgroud)

java clob google-cloud-dataflow apache-beam

3
推荐指数
1
解决办法
2213
查看次数

使用 Google Cloud DataFlow python sdk 读取一组 xml 文件

我正在尝试从 GCS 存储桶读取 XML 文件的集合并处理它们,其中集合中的每个元素都是代表整个文件的字符串,但我找不到关于如何完成此操作的合适示例,我也无法理解它来自 Apache Beam 文档,主要是关于 Java 版本的。

我当前的管道如下所示:

p = beam.Pipeline(options=PipelineOptions(pipeline_args))

(p
 | 'Read from a File' >> beam.io.Read(training_files_folder)
 | 'String To BigQuery Row' >> beam.Map(lambda s:
                                        data_ingestion.parse_method(s))
 | 'Write to BigQuery' >> beam.io.Write(
            beam.io.BigQuerySink(
                known_args.output,
                schema='title:STRING,text:STRING,id:STRING',
                create_disposition=beam.io.BigQueryDisposition.CREATE_IF_NEEDED,
                write_disposition=beam.io.BigQueryDisposition.WRITE_TRUNCATE)))
p.run().wait_until_finish()
Run Code Online (Sandbox Code Playgroud)

我收到的错误消息是:

File "C:\Program Files\JetBrains\PyCharm Community Edition 2018.2.1\helpers\pydev\pydevd.py", line 1664, in <module>
main()

File "C:\Program Files\JetBrains\PyCharm Community Edition 2018.2.1\helpers\pydev\pydevd.py", line 1658, in main
globals = debugger.run(setup['file'], None, None, is_module)

File "C:\Program Files\JetBrains\PyCharm Community Edition 2018.2.1\helpers\pydev\pydevd.py", line 1068, in …
Run Code Online (Sandbox Code Playgroud)

python google-cloud-dataflow

3
推荐指数
1
解决办法
2993
查看次数

带有python flex模板的数据流 - 启动器超时

我正在尝试使用 flex 模板运行我的 python 数据流作业。当我使用直接运行器(没有 flex 模板)运行时,作业在本地运行良好,但是当我尝试使用 flex 模板运行它时,作业卡在“排队”状态一段时间,然后因超时而失败。

这是我在 GCE 控制台中找到的一些日志:

INFO:apache_beam.runners.portability.stager:Executing command: ['/usr/local/bin/python', '-m', 'pip', 'download', '--dest', '/tmp/dataflow-requirements-cache', '-r', '/dataflow/template/requirements.txt', '--exists-action', 'i', '--no-binary', ':all:'

Shutting down the GCE instance, launcher-202011121540156428385273524285797, used for launching.

Timeout in polling result file: gs://my_bucket/staging/template_launches/2020-11-12_15_40_15-6428385273524285797/operation_result.
Possible causes are:
1. Your launch takes too long time to finish. Please check the logs on stackdriver.
2. Service my_service_account@developer.gserviceaccount.com may not have enough permissions to pull container image gcr.io/indigo-computer-272415/samples/dataflow/streaming-beam-py:latest or create new objects in gs://my_bucket/staging/template_launches/2020-11-12_15_40_15-6428385273524285797/operation_result.
3. Transient …
Run Code Online (Sandbox Code Playgroud)

google-cloud-platform google-cloud-dataflow apache-beam data-pipeline

3
推荐指数
1
解决办法
1130
查看次数

启动 Bigquery 作业的数据流作业间歇性失败并出现错误“错误”:[ {“消息”:“已经存在:作业

我每 6 分钟安排一个谷歌云数据流作业(使用 apache beam python sdk),它在内部从 Big Query Table 读取,进行一些转换并写入另一个 Big Query 表。此作业已开始间歇性失败(大约 10 次中的 4 次)并显示以下错误跟踪。

2021-02-17 14:51:18.146 ISTError message from worker: Traceback (most recent call last):
  File "/usr/local/lib/python3.8/site-packages/dataflow_worker/batchworker.py", line 649, in do_work
    work_executor.execute()
  File "/usr/local/lib/python3.8/site-packages/dataflow_worker/executor.py", line 225, in execute
    self.response = self._perform_source_split_considering_api_limits(
  File "/usr/local/lib/python3.8/site-packages/dataflow_worker/executor.py", line 233, in _perform_source_split_considering_api_limits
    split_response = self._perform_source_split(source_operation_split_task,
  File "/usr/local/lib/python3.8/site-packages/dataflow_worker/executor.py", line 271, in _perform_source_split
    for split in source.split(desired_bundle_size):
  File "/usr/local/lib/python3.8/site-packages/apache_beam/io/gcp/bigquery.py", line 807, in split
    self.table_reference = self._execute_query(bq)
  File "/usr/local/lib/python3.8/site-packages/apache_beam/options/value_provider.py", line 135, in _f
    return …
Run Code Online (Sandbox Code Playgroud)

python-3.x google-bigquery google-cloud-dataflow apache-beam

3
推荐指数
1
解决办法
139
查看次数