小编Gao*_*uan的帖子

推力::device_vector 值

推力::device_vector 键；

初始化后，keys包含一些等于-1的元素。我想删除键中和值相同位置的元素。

但不知道并行如何处理？

这是我用来通过Spark结构化流从Kafka读取数据的代码，

//ss:SparkSession is defined before. 
import ss.implicits._
val df = ss
  .readStream
  .format("kafka")
  .option("kafka.bootstrap.servers", kafka_server)
  .option("subscribe", topic_input)
  .option("startingOffsets", "latest")
  .option("kafkaConsumer.pollTimeoutMs", "5000")
  .option("failOnDataLoss", "false")
  .load()

这是错误代码，

  Caused by: java.util.concurrent.TimeoutException: Cannot fetch record xxxx for offset in 5000 milliseconds

如果将5000放大到10000，仍然会发生此错误。我用谷歌搜索这个问题。似乎没有关于此问题的太多相关信息。

这是与此问题相关的sbt文件的一部分。

libraryDependencies += "org.apache.spark" %% "spark-sql-kafka-0-10" % "2.3.0" exclude ("org.apache.kafka", "kafka-clients")
libraryDependencies += "org.apache.kafka" % "kafka-clients" % "0.11.0.0"