小编lu_*_*rra的帖子

我有一个Scala Spark Streaming应用程序，它从 3 个不同的Kafka producers.

Spark 流应用程序位于主机 的机器上0.0.0.179，Kafka 服务器位于主机 的机器上0.0.0.178，它们Kafka producers位于机器 , 0.0.0.180,0.0.0.181上0.0.0.182。

当我尝试运行Spark Streaming应用程序时出现以下错误

线程“main”org.apache.spark.SparkException 中出现异常：作业由于阶段失败而中止：阶段 19.0 中的任务 0 失败 1 次，最近一次失败：阶段 19.0 中丢失任务 0.0（TID 19，本地主机）：java.util .ConcurrentModificationException：KafkaConsumer 对于 org.apache.kafka.clients.consumer.KafkaConsumer.acquire(KafkaConsumer.java:1625) 的多线程访问不安全，在 org.apache.kafka.clients.consumer.KafkaConsumer.seek(KafkaConsumer. java：1198）在org.apache.spark.streaming.kafka010.CachedKafkaConsumer.seek（CachedKafkaConsumer.scala：95）在org.apache.spark.streaming.kafka010.CachedKafkaConsumer.get（CachedKafkaConsumer.scala：69）在org.apache .spark.streaming.kafka010.KafkaRDD$KafkaRDDIterator.next(KafkaRDD.scala:228) 在 org.apache.spark.streaming.kafka010.KafkaRDD$KafkaRDDIterator.next(KafkaRDD.scala:194) 在 scala.collection.Iterator$$ anon$11.next(Iterator.scala:409) 在 scala.collection.Iterator$$anon$11.next(Iterator.scala:409) 在 org.apache.spark.rdd.PairRDDFunctions$$anonfun$saveAsHadoopDataset$1$$anonfun$13 $$anonfun$apply$7.apply$mcV$sp(PairRDDFunctions.scala:1204) 在 org.apache.spark.rdd.PairRDDFunctions$$anonfun$saveAsHadoopDataset$1$$anonfun$13$$anonfun$apply$7.apply(PairRDDFunctions. scala:1203) 在 org.apache.spark.rdd.PairRDDFunctions$$anonfun$saveAsHadoopDataset$1$$anonfun$13$$anonfun$apply$7.apply(PairRDDFunctions.scala:1203) 在 org.apache.spark.util.Utils$ .tryWithSafeFinallyAndFailureCallbacks(Utils.scala:1325) 在 org.apache.spark.rdd.PairRDDFunctions$$anonfun$saveAsHadoopDataset$1$$anonfun$13.apply(PairRDDFunctions.scala:1211) 在 org.apache.spark.rdd.PairRDDFunctions$$ anonfun$saveAsHadoopDataset$1$$anonfun$13.apply(PairRDDFunctions.scala:1190) 在 org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:70) 在 org.apache.spark.scheduler.Task.run(Task .scala:85) …