小编Sci*_*zed的帖子

数据流中动态目标的问题

我有一个Dataflow作业，它从pubsub读取数据，并根据时间和文件名将内容写入GCS，其中文件夹路径基于YYYY / MM / DD。这允许根据日期在文件夹中生成文件，并使用apache beam的FileIO和Dynamic Destinations。

大约两周前，我注意到未确认消息的异常堆积。重新启动df作业后，错误消失了，新文件正在GCS中写入。

几天后，写入再次停止，除了这次，出现了一些错误，声称处理被卡住了。经过一些值得信赖的SO研究之后，我发现这可能是由于2.90之前的Beam中的死锁问题引起的，因为它使用Conscrypt库作为默认的安全提供程序。因此，我从Beam 2.8升级到Beam 2.11。

再次起作用，直到没有起作用为止。我仔细查看了该错误，发现该错误与SimpleDateFormat对象有关，该对象不是线程安全的。因此，我切换为使用Java.time和DateTimeFormatter，这是线程安全的。它一直工作到没有。但是，这次，该错误稍有不同，并且没有指向我的代码中的任何内容：下面提供了该错误。

Processing stuck in step FileIO.Write/WriteFiles/WriteShardedBundlesToTempFiles/WriteShardsIntoTempFiles for at least 05m00s without outputting or completing in state process
  at sun.misc.Unsafe.park(Native Method)
  at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
  at org.apache.beam.vendor.guava.v20_0.com.google.common.util.concurrent.AbstractFuture.get(AbstractFuture.java:469)
  at org.apache.beam.vendor.guava.v20_0.com.google.common.util.concurrent.AbstractFuture$TrustedFuture.get(AbstractFuture.java:76)
  at org.apache.beam.runners.dataflow.worker.MetricTrackingWindmillServerStub.getStateData(MetricTrackingWindmillServerStub.java:202)
  at org.apache.beam.runners.dataflow.worker.WindmillStateReader.startBatchAndBlock(WindmillStateReader.java:409)
  at org.apache.beam.runners.dataflow.worker.WindmillStateReader$WrappedFuture.get(WindmillStateReader.java:311)
  at org.apache.beam.runners.dataflow.worker.WindmillStateReader$BagPagingIterable$1.computeNext(WindmillStateReader.java:700)
  at org.apache.beam.vendor.guava.v20_0.com.google.common.collect.AbstractIterator.tryToComputeNext(AbstractIterator.java:145)
  at org.apache.beam.vendor.guava.v20_0.com.google.common.collect.AbstractIterator.hasNext(AbstractIterator.java:140)
  at org.apache.beam.vendor.guava.v20_0.com.google.common.collect.MultitransformedIterator.hasNext(MultitransformedIterator.java:47)
  at org.apache.beam.sdk.io.WriteFiles$WriteShardsIntoTempFilesFn.processElement(WriteFiles.java:701)
  at org.apache.beam.sdk.io.WriteFiles$WriteShardsIntoTempFilesFn$DoFnInvoker.invokeProcessElement(Unknown Source)

Run Code Online (Sandbox Code Playgroud)

在作业部署后约5小时开始出现此错误，并且随着时间的流逝，错误发生率呈上升趋势。24小时内书写速度显着下降。我有60名工人，我怀疑每次出现错误都会导致一名工人失败，最终导致工作中断。

在我的作者中，我对某些关键字的行进行了解析（可能不是最好的方法），以确定其所属的文件夹。然后，我将使用确定的文件名将文件插入GCS。这是我为我的作家使用的代码：

分区功能提供如下：

Processing stuck in step FileIO.Write/WriteFiles/WriteShardedBundlesToTempFiles/WriteShardsIntoTempFiles for at least 05m00s without outputting or completing …

Run Code Online (Sandbox Code Playgroud)

java google-cloud-storage google-cloud-dataflow apache-beam

Sci*_*zed

2019 04-19

6
推荐指数

1
解决办法

422
查看次数