数据流管道运行完成后是否可以在 GCS 中移动文件?如果是这样,怎么办?应该是最后一个吧.apply?我无法想象事情会是这样。
这里的情况是我们从客户端导入大量 .csv 文件。我们需要无限期地保留这些 CSV,因此我们要么需要“将 CSV 标记为已处理”,要么将它们移出用于TextIO查找 CSV 的初始文件夹。我目前唯一能想到的就是在 BigQuery 中存储文件名(我不确定如何得到这个,我是 DF 新手),然后从执行中排除已经存储的文件管道不知何故?但必须有更好的方法。
这可能吗?我应该检查什么?
谢谢你的帮助!
我是云数据流和 Java 的新手,所以我希望这是正确的问题。
我有一个 csv 文件,其中有 n 个列和行,可以是字符串、整数或时间戳。我需要为每一列创建一个新的 PCollection 吗?
我在示例中找到的大多数文档都类似于:
PCollection<String> data = p.apply(TextIO.Read.from("gs://abc/def.csv"));
Run Code Online (Sandbox Code Playgroud)
但对我来说,将整个 csv 文件作为字符串导入是没有意义的。我在这里缺少什么?我应该如何设置我的 PCollections?
Apache Beam 最近通过注释引入了状态单元,并在Apache Flink 和 Google Cloud Dataflow 中提供了部分支持。StateSpec@StateId
我找不到任何有关将其与GlobalWindow. 特别是,有没有一种方法可以拥有“状态垃圾收集”机制,以根据某些配置摆脱一段时间未见过的键的状态,同时仍然保持已见过的键的单个历史状态足够频繁吗?
或者,在这种情况下使用的状态量是否会出现偏差,无法回收与一段时间未见过的键相对应的状态?
我还对 Apache Flink 或 Google Cloud Dataflow 是否支持潜在的解决方案感兴趣。
Flink 和 direct runner 似乎有一些“状态 GC”的代码,但我不太确定它的作用以及它在使用全局窗口时是否相关。
在数据流中,我需要将开始日期和结束日期作为运行时参数传递,并查询该日期范围的 bigquery 并将输出写入每日文件夹。
当我们使用 ValueProvider 时, getStartDate().get() 方法抛出 java.lang.RuntimeException: Not Called from a Runtime context。如果我在 getStartDate().get().isAccessible() 为 false 时硬编码某个值,则正在生成模板,但运行时参数未反映在作业中。在模板创建期间,它始终以硬编码值运行。
有什么建议 ?
我正在编写一个数据流流管道。在其中一个转换中,DoFn 我想要访问外部服务 - 在本例中,它是数据存储区。
这种初始化步骤有没有最佳实践?我不想为每个 processElement 方法调用创建数据存储连接对象。
java google-cloud-datastore google-cloud-dataflow apache-beam
我正在尝试使用数据流读取 pubsub 消息并将其写入大查询。我获得了 Google 团队的 alpha 访问权限,并且已经使提供的示例正常工作,但现在我需要将其应用到我的场景中。
发布订阅负载:
Message {
data: {'datetime': '2017-07-13T21:15:02Z', 'mac': 'FC:FC:48:AE:F6:94', 'status': 1}
attributes: {}
}
Run Code Online (Sandbox Code Playgroud)
大查询架构:
schema='mac:STRING, status:INTEGER, datetime:TIMESTAMP',
Run Code Online (Sandbox Code Playgroud)
我的目标是简单地读取消息有效负载并插入到 bigquery 中。我正在努力了解转换以及如何将键/值映射到大查询模式。
我对此很陌生,因此非常感谢任何帮助。
当前代码: https: //codeshare.io/ayqX8w
谢谢!
python dataflow google-bigquery google-cloud-dataflow apache-beam
我已经设置了管道。我必须解析数百个 *.gz 文件。因此 glob 效果很好。
但我需要当前处理的文件的原始名称,因为我想将结果文件命名为原始文件。
有人能帮我一下吗?
这是我的代码。
@Default.String(LOGS_PATH + "*.gz")
String getInputFile();
void setInputFile(String value);
TextIO.Read read = TextIO.read().withCompressionType(TextIO.CompressionType.GZIP).from(options.getInputFile());
read.getName();
p.apply("ReadLines", read).apply(new CountWords())
.apply(MapElements.via(new FormatAsTextFn()))
.apply("WriteCounts", TextIO.write().to(WordCountOptions.LOGS_PATH + "_" + options.getOutput()));
p.run().waitUntilFinish();
Run Code Online (Sandbox Code Playgroud) 我正在尝试从 GCS 存储桶读取 XML 文件的集合并处理它们,其中集合中的每个元素都是代表整个文件的字符串,但我找不到关于如何完成此操作的合适示例,我也无法理解它来自 Apache Beam 文档,主要是关于 Java 版本的。
我当前的管道如下所示:
p = beam.Pipeline(options=PipelineOptions(pipeline_args))
(p
| 'Read from a File' >> beam.io.Read(training_files_folder)
| 'String To BigQuery Row' >> beam.Map(lambda s:
data_ingestion.parse_method(s))
| 'Write to BigQuery' >> beam.io.Write(
beam.io.BigQuerySink(
known_args.output,
schema='title:STRING,text:STRING,id:STRING',
create_disposition=beam.io.BigQueryDisposition.CREATE_IF_NEEDED,
write_disposition=beam.io.BigQueryDisposition.WRITE_TRUNCATE)))
p.run().wait_until_finish()
Run Code Online (Sandbox Code Playgroud)
我收到的错误消息是:
File "C:\Program Files\JetBrains\PyCharm Community Edition 2018.2.1\helpers\pydev\pydevd.py", line 1664, in <module>
main()
File "C:\Program Files\JetBrains\PyCharm Community Edition 2018.2.1\helpers\pydev\pydevd.py", line 1658, in main
globals = debugger.run(setup['file'], None, None, is_module)
File "C:\Program Files\JetBrains\PyCharm Community Edition 2018.2.1\helpers\pydev\pydevd.py", line 1068, in …Run Code Online (Sandbox Code Playgroud) 我正在尝试使用 flex 模板运行我的 python 数据流作业。当我使用直接运行器(没有 flex 模板)运行时,作业在本地运行良好,但是当我尝试使用 flex 模板运行它时,作业卡在“排队”状态一段时间,然后因超时而失败。
这是我在 GCE 控制台中找到的一些日志:
INFO:apache_beam.runners.portability.stager:Executing command: ['/usr/local/bin/python', '-m', 'pip', 'download', '--dest', '/tmp/dataflow-requirements-cache', '-r', '/dataflow/template/requirements.txt', '--exists-action', 'i', '--no-binary', ':all:'
Shutting down the GCE instance, launcher-202011121540156428385273524285797, used for launching.
Timeout in polling result file: gs://my_bucket/staging/template_launches/2020-11-12_15_40_15-6428385273524285797/operation_result.
Possible causes are:
1. Your launch takes too long time to finish. Please check the logs on stackdriver.
2. Service my_service_account@developer.gserviceaccount.com may not have enough permissions to pull container image gcr.io/indigo-computer-272415/samples/dataflow/streaming-beam-py:latest or create new objects in gs://my_bucket/staging/template_launches/2020-11-12_15_40_15-6428385273524285797/operation_result.
3. Transient …Run Code Online (Sandbox Code Playgroud) google-cloud-platform google-cloud-dataflow apache-beam data-pipeline
我每 6 分钟安排一个谷歌云数据流作业(使用 apache beam python sdk),它在内部从 Big Query Table 读取,进行一些转换并写入另一个 Big Query 表。此作业已开始间歇性失败(大约 10 次中的 4 次)并显示以下错误跟踪。
2021-02-17 14:51:18.146 ISTError message from worker: Traceback (most recent call last):
File "/usr/local/lib/python3.8/site-packages/dataflow_worker/batchworker.py", line 649, in do_work
work_executor.execute()
File "/usr/local/lib/python3.8/site-packages/dataflow_worker/executor.py", line 225, in execute
self.response = self._perform_source_split_considering_api_limits(
File "/usr/local/lib/python3.8/site-packages/dataflow_worker/executor.py", line 233, in _perform_source_split_considering_api_limits
split_response = self._perform_source_split(source_operation_split_task,
File "/usr/local/lib/python3.8/site-packages/dataflow_worker/executor.py", line 271, in _perform_source_split
for split in source.split(desired_bundle_size):
File "/usr/local/lib/python3.8/site-packages/apache_beam/io/gcp/bigquery.py", line 807, in split
self.table_reference = self._execute_query(bq)
File "/usr/local/lib/python3.8/site-packages/apache_beam/options/value_provider.py", line 135, in _f
return …Run Code Online (Sandbox Code Playgroud) python-3.x google-bigquery google-cloud-dataflow apache-beam