我有一个包含相当多步骤的管道(略高于 15)。每次DoFn失败时我都想报告失败。我开始TupleTags使用以下代码实现它:
try {
... do stuff ...
c.output(successTag, ...);
} catch (Exception e) {
c.output(failureTag, new Failure(...));
}
Run Code Online (Sandbox Code Playgroud)
但是由于我的管道包含很多步骤,这使得管道定义代码很难阅读/维护。
有没有更全球化的方式来实现它?类似于引发在管道级别全局处理的自定义异常?
我已经从Google 的 github 存储库中提取了Pub/Sub 到 BigQuery Dataflow 模板的副本。我使用direct-runner在我的本地机器上运行它。
在测试中,我确认模板仅在 UDF 处理或从 JSON 到 TableRow 转换期间发生错误时才将失败写入“死信”表。
我还希望通过将它们发送到单独的 TupleTag 来更优雅地处理在插入 BigQuery 时发生的故障,以便它们也可以发送到死信表或其他输出进行审查和处理。目前,当使用dataflow-runner执行时,这些错误只会写入 Stackdriver 日志,并会继续无限期地重试,直到问题得到解决。
问题一:在本地测试并发布格式与目标表模式不匹配的消息时,插入被重试 5 次,然后管道崩溃,出现 RuntimeException 以及从 HTTP 响应返回到 Google API 的错误。我相信这种行为是在BigQueryServices.Impl中设置的 :
private static final FluentBackoff INSERT_BACKOFF_FACTORY =
FluentBackoff.DEFAULT.withInitialBackoff(Duration.millis(200)).withMaxRetries(5);
Run Code Online (Sandbox Code Playgroud)
但是,根据Google 的文档,
“在流模式下运行时,包含失败项目的包将无限期重试,这可能会导致您的管道永久停止。”
作为 Beam 的Pub/Sub.IO,
创建和使用无界 PCollections
我的印象是从 Pub/Sub 读取时应该默认启用流模式。我什至在对 writeTableRows() 的调用中添加了 Streaming_Inserts 方法,但它并没有影响这种行为。
.apply(
"WriteSuccessfulRecords",
BigQueryIO.writeTableRows()
.withMethod(Method.STREAMING_INSERTS)
Run Code Online (Sandbox Code Playgroud)
问题二:
google-bigquery google-cloud-pubsub google-cloud-dataflow apache-beam
我的文件夹结构如下:
Project/
--Pipeline.py
--setup.py
--dist/
--ResumeParserDependencies-0.1.tar.gz
--Dependencies/
--Module1.py
--Module2.py
--Module3.py
Run Code Online (Sandbox Code Playgroud)
我的setup.py文件看起来像这样:
from setuptools import setup, find_packages
setup(name='ResumeParserDependencies',
version='0.1',
description='Dependencies',
install_requires=[
'google-cloud-storage==1.11.0',
'requests==2.19.1',
'urllib3==1.23'
],
packages = ['Dependencies']
)
Run Code Online (Sandbox Code Playgroud)
我使用 setup.py 文件使用“python setup.py sdist”创建了一个 tar.gz 文件。tar 文件位于 dist 文件夹中,名为 ResumeParserDependencies-0.1.tar.gz。然后我指定
setup_options.extra_packages = ['./dist/ResumeParserDependencies-0.1.tar.gz'] in my pipeline options.
Run Code Online (Sandbox Code Playgroud)
但是,一旦我在 Dataflow 上运行我的管道,我就会收到错误“没有名为 ResumeParserDependencies 的模块”。如果我在本地使用“pip install ResumeParserDependencies-0.1.tar.gz”,则会安装该软件包,并且我可以使用“pip freeze”看到它。
将包加载到 Dataflow 中我缺少什么?
我们在谷歌云数据流中运行我们的 Apache Beam 代码,我们需要将一些 JVM 参数传递给我们的程序。我们找到了与执行参数相关的链接,但没有与 JVM 参数相关的链接。如何将 JVM 参数传递给 Google Cloud 数据流?
我正在构建一个 Apache Beam 管道,以从 Kafka 读取作为无界源。
我能够使用直接运行器在本地运行它。
但是,在云上使用 Google Cloud Dataflow 运行器运行时,管道会因附加的异常堆栈跟踪而失败。
似乎最终是Conscrypt Java 库抛出了javax.net.ssl.SSLException: Unable to parse TLS packet header. 我不确定如何解决这个问题。
java.io.IOException: Failed to start reading from source: org.apache.beam.sdk.io.kafka.KafkaUnboundedSource@33b5ff70
com.google.cloud.dataflow.worker.WorkerCustomSources$UnboundedReaderIterator.start(WorkerCustomSources.java:783)
com.google.cloud.dataflow.worker.util.common.worker.ReadOperation$SynchronizedReaderIterator.start(ReadOperation.java:360)
com.google.cloud.dataflow.worker.util.common.worker.ReadOperation.runReadLoop(ReadOperation.java:193)
com.google.cloud.dataflow.worker.util.common.worker.ReadOperation.start(ReadOperation.java:158)
com.google.cloud.dataflow.worker.util.common.worker.MapTaskExecutor.execute(MapTaskExecutor.java:75)
com.google.cloud.dataflow.worker.StreamingDataflowWorker.process(StreamingDataflowWorker.java:1227)
com.google.cloud.dataflow.worker.StreamingDataflowWorker.access$1000(StreamingDataflowWorker.java:135)
com.google.cloud.dataflow.worker.StreamingDataflowWorker$6.run(StreamingDataflowWorker.java:966)
java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
java.lang.Thread.run(Thread.java:745)
Caused by: java.io.IOException: java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.SslAuthenticationException: SSL handshake failed
org.apache.beam.sdk.io.kafka.KafkaUnboundedReader.start(KafkaUnboundedReader.java:126)
com.google.cloud.dataflow.worker.WorkerCustomSources$UnboundedReaderIterator.start(WorkerCustomSources.java:778)
com.google.cloud.dataflow.worker.util.common.worker.ReadOperation$SynchronizedReaderIterator.start(ReadOperation.java:360)
com.google.cloud.dataflow.worker.util.common.worker.ReadOperation.runReadLoop(ReadOperation.java:193)
com.google.cloud.dataflow.worker.util.common.worker.ReadOperation.start(ReadOperation.java:158)
com.google.cloud.dataflow.worker.util.common.worker.MapTaskExecutor.execute(MapTaskExecutor.java:75)
com.google.cloud.dataflow.worker.StreamingDataflowWorker.process(StreamingDataflowWorker.java:1227)
com.google.cloud.dataflow.worker.StreamingDataflowWorker.access$1000(StreamingDataflowWorker.java:135)
com.google.cloud.dataflow.worker.StreamingDataflowWorker$6.run(StreamingDataflowWorker.java:966)
java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
java.lang.Thread.run(Thread.java:745)
Caused by: java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.SslAuthenticationException: SSL handshake failed
java.util.concurrent.FutureTask.report(FutureTask.java:122)
java.util.concurrent.FutureTask.get(FutureTask.java:206)
org.apache.beam.sdk.io.kafka.KafkaUnboundedReader.start(KafkaUnboundedReader.java:112)
com.google.cloud.dataflow.worker.WorkerCustomSources$UnboundedReaderIterator.start(WorkerCustomSources.java:778)
com.google.cloud.dataflow.worker.util.common.worker.ReadOperation$SynchronizedReaderIterator.start(ReadOperation.java:360)
com.google.cloud.dataflow.worker.util.common.worker.ReadOperation.runReadLoop(ReadOperation.java:193)
com.google.cloud.dataflow.worker.util.common.worker.ReadOperation.start(ReadOperation.java:158)
com.google.cloud.dataflow.worker.util.common.worker.MapTaskExecutor.execute(MapTaskExecutor.java:75) …Run Code Online (Sandbox Code Playgroud) 我正在尝试执行 Google Dataflow 应用程序,但它抛出此异常
java.lang.IllegalArgumentException: No filesystem found for scheme gs
at org.apache.beam.sdk.io.FileSystems.getFileSystemInternal(FileSystems.java:459)
at org.apache.beam.sdk.io.FileSystems.matchNewResource(FileSystems.java:529)
at org.apache.beam.sdk.io.FileBasedSink.convertToFileResourceIfPossible(FileBasedSink.java:213)
at org.apache.beam.sdk.io.TextIO$TypedWrite.to(TextIO.java:700)
at org.apache.beam.sdk.io.TextIO$Write.to(TextIO.java:1028)
at br.com.sulamerica.mecsas.ExportacaoDadosPipeline.main(ExportacaoDadosPipeline.java:52)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.codehaus.mojo.exec.ExecJavaMojo$1.run(ExecJavaMojo.java:282)
at java.lang.Thread.run(Thread.java:748)
Run Code Online (Sandbox Code Playgroud)
这是我的流水线代码的一部分
Pipeline.create()
.apply(PubsubIO.readStrings().fromSubscription(subscription))
.apply(new KeyExportacaoDadosToEntityTransform())
.apply(new ListKeyEmpresaSelecionadasTransform())
.apply(ParDo.of(new DoFn<List<Entity>, String>() {
@ProcessElement
public void processElement(ProcessContext c){
c.output(
c.element().stream()
.map(e-> e.getString("dscRazaoSocial"))
.collect(Collectors.joining("\r\n"))
);
}
}))
.apply(TextIO.write().to("gs://<my bucket>"))
.getPipeline()
.run();
Run Code Online (Sandbox Code Playgroud)
这是用于执行我的管道的命令
mvn -Pdataflow-runner compile exec:java \
-Dexec.mainClass=br.com.xpto.foo.ExportacaoDadosPipeline \
-Dexec.args="--project=<projectID>\
--stagingLocation=gs://dataflow-xpto/exportacao/staging \
--output=gs://dataflow-xpto/exportacao/output \
--runner=DataflowRunner"
Run Code Online (Sandbox Code Playgroud) java exception google-cloud-storage google-cloud-platform google-cloud-dataflow
我正在使用如下所示的过程从 Beam 中的 Google Storage 读取文件:
data = pipeline | beam.Create(['gs://my/file.pkl']) | beam.ParDo(LoadFileDoFn)
Run Code Online (Sandbox Code Playgroud)
WhereLoadFileDoFn加载文件并从中创建对象的 Python 列表,ParDo然后以PCollection.
我知道我可能会实现一个自定义源来实现类似的功能,但是这个答案和 Beam自己的文档表明这种使用伪数据集读取的ParDo方法并不少见,并且自定义源可能有点矫枉过正。
它也有效 - 我得到了PCollection正确数量的元素,我可以随心所欲地处理它!然而..
结果PCollection在 Cloud Dataflow 上根本不会自动缩放。我首先必须通过以下方式对其进行转换:
shuffled_data = data | beam.Shuffle()
Run Code Online (Sandbox Code Playgroud)
我知道我也在上面链接的这个答案几乎解释了这个过程 - 但它没有提供任何关于为什么这是必要的见解。就我在 Beam 非常高的抽象级别所看到的而言,我PCollection在洗牌之前有 N 个元素,在洗牌PCollection之后有一个类似的元素。为什么一个可以缩放,而另一个不缩放?
在这种情况下,文档不是很有帮助(或者一般来说,但这是另一回事)。第一个PCollection有什么隐藏属性可以防止它被分发给另一个没有的多个工作人员?
很明显,抢占式实例比非抢占式实例便宜。每天有 400-500 个数据流作业在我的组织项目中运行。其中一些工作是时间敏感的,而另一些则不是。那么有没有什么办法可以将抢占式实例用于非时间约束作业,这将降低整体管道执行的成本。目前我正在运行具有以下指定配置的数据流作业。
options.setTempLocation("gs://temp/");
options.setRunner(DataflowRunner.class);
options.setTemplateLocation("gs://temp-location/");
options.setWorkerMachineType("n1-standard-4");
options.setMaxNumWorkers(20);
options.setWorkerCacheMb(2000);
Run Code Online (Sandbox Code Playgroud)
我无法找到具有抢占式实例设置的任何管道选项。
google-compute-engine google-cloud-platform google-cloud-dataflow apache-beam
我正在对一小组数据测试一些管道,然后在一次测试运行期间我的管道突然崩溃并显示以下消息: Not found: Dataset thijs-dev:nlthijs_ba was not found in location US
INFO:root:Using location 'EU' from table我的运行脚本
python pippeline/main.py --project thijs-dev --region europe-west4 --runner DataflowRunner --temp_location gs://thijs/dataflow/tmp --staging_location gs://thijs/dataflow/staging --job_name thijspipe --save_main_session --setup_file pipeline/setup.py --autoscaling_algorithm=THROUGHPUT_BASED --max_num_workers=7
我失败的一步
thijs = (p | 'ReadTable thijs' >> beam.io.Read(beam.io.BigQuerySource(query=queries.load_code_table(), use_standard_sql=True)))
示例我的查询是什么样的
#standardSQL
select
original.c1,
original.c2,
original.c3
from `thijs.tablename` original
inner join (
select c1, max(c2) as …Run Code Online (Sandbox Code Playgroud) 我正在构建一些从 Kafka 读取并使用 Google Cloud Dataflow 写入各种接收器的数据流管道。管道看起来像这样(简化)。
// Example pipeline that writes to BigQuery.
Pipeline.create(options)
.apply(KafkaIO.read().withTopic(options.topic))
.apply(/* Convert to a Row type */)
.setRowSchema(schemaRegistry.lookup(options.topic))
.apply(
BigQueryIO.write<Row>()
.useBeamSchema()
.withCreateDisposition(CreateDispotion.CREATE_IF_NEEDED)
.withProject(options.outputProject)
.withDataset(options.outputDataset)
.withTable(options.outputTable)
)
Run Code Online (Sandbox Code Playgroud)
我计划为我们的每个 Kafka 主题运行一个管道,其中有数百个。管道在规划阶段查找给定主题的模式。这允许BigQueryIO在启动管道之前创建必要的表。
问题:如何在我的 Dataflow 管道中支持不断发展的架构?
我探索了更新现有 Dataflow 作业的选项(使用--update标志)。我的想法是,每当架构发生变化时,我都可以自动执行提交更新作业的过程。但是更新作业似乎会导致大约 3 分钟的停机时间。对于某些工作,那么长时间的停机是行不通的。我正在寻找希望停机时间不超过几秒钟的其他解决方案。
kotlin google-cloud-platform google-cloud-dataflow apache-beam