scala.MatchError:[Ljava.lang.String; (类[Ljava.lang.String;)

Question

当我想阅读文件时,我的文件格式为: 12334 this:23,word:21,teacher:23

   val fp = "/user/user_id.txt"
   sc.textFile(fp).map { s =>
   val Array(did, info_s) = s.split("\t")
   val info = info_s.split(",").map { kv =>
      val Array(k, v) = kv.split(":")
      (k, v.toDouble)
    }.toSeq
    (did, info)
  }

这个scala错误出现了.这个怎么样？

scala.MatchError: [Ljava.lang.String;@51443799 (of class [Ljava.lang.String;)
at com.test.news.IO$$anonfun$1.apply(App.scala:58)
at com.test.news.IO$$anonfun$1.apply(App.scala:57)
at scala.collection.Iterator$$anon$11.next(Iterator.scala:409)
at scala.collection.Iterator$class.foreach(Iterator.scala:893)
at scala.collection.AbstractIterator.foreach(Iterator.scala:1336)
at scala.collection.generic.Growable$class.$plus$plus$eq(Growable.scala:59)
at scala.collection.mutable.ArrayBuffer.$plus$plus$eq(ArrayBuffer.scala:104)
at scala.collection.mutable.ArrayBuffer.$plus$plus$eq(ArrayBuffer.scala:48)
at scala.collection.TraversableOnce$class.to(TraversableOnce.scala:310)
at scala.collection.AbstractIterator.to(Iterator.scala:1336)
at scala.collection.TraversableOnce$class.toBuffer(TraversableOnce.scala:302)
at scala.collection.AbstractIterator.toBuffer(Iterator.scala:1336)
at scala.collection.TraversableOnce$class.toArray(TraversableOnce.scala:289)
at scala.collection.AbstractIterator.toArray(Iterator.scala:1336)
at org.apache.spark.rdd.RDD$$anonfun$collect$1$$anonfun$13.apply(RDD.scala:912)
at org.apache.spark.rdd.RDD$$anonfun$collect$1$$anonfun$13.apply(RDD.scala:912)
at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1916)
at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1916)
at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:70)
at org.apache.spark.scheduler.Task.run(Task.scala:86)
at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:274)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)

第58行是 val数组(did,info_s)= s.split("\ t"),我不能用这种方式吗？我很困惑〜帮忙!

Answer 1

第5行(val Array(k, v) = ...)的语法是使用Array unapply方法.如果在提取器中提供的绑定数量不等于数组的长度,则可能会出现匹配错误:

scala> val Array(k, v) = "1,2".split(",")
k: String = 1
v: String = 2

scala> val Array(k, v) = "1,2,3".split(",")
scala.MatchError: [Ljava.lang.String;@508dec2b (of class [Ljava.lang.String;)

在您的情况下,这可能是由输入格式错误(多个:或没有)引起的.虽然提取器很有用且简洁,但它们的错误消息很神秘,因此如果你不肯定你的匹配是正确的(比如读取任意文本文件),那么使用稍微冗长的语法是很好的做法:

val (k, v) = kv.split(":") match {
  case Array(f1, f2) => (f1, f2)
  case Array(elems) => fatal("found invalid K/V pair: expected 2 elements, found ${elems.length}")
}

Answer 2

scala 有一个语法糖用于将一对解包为：

val (id, info) = ("123", "word:123")

split()但是，如果数组中的元素与传递的参数数量不匹配，则这对于返回的数组不起作用，只需使用变量捕获结果，然后使用索引访问数组中的值：

sc.textFile("user_id.txt").map{ line =>
    val fields = line.split("\t")
    val info = fields(1).split(",").map { kv =>
        val pairs = kv.split(":")
        (pairs(0), pairs(1).toDouble)
    }.toSeq
    (fields(0), info)
}.collect()

# Array[(String, Seq[(String, Double)])] = Array((12334,WrappedArray((this,23.0), (word,21.0), (teacher,23.0))))

显然，当我有上述方法时，我不知道unapply数组的方法，但我发现使用该unapply方法很有吸引力，这里有一个替代方案，通过解包数组来遵循与上述方法相同的原理，并且只需要每行的前两个字段。

本质上遵循这一行，用于_*捕获数组中不需要的元素：

val Array(k, v, _*) = Array(1, 2, 3, 4, 5)
#k: Int = 1
#v: Int = 2

而上面的方法可以改写为：

sc.textFile("user_id.txt").map{ line =>
    val Array(id, info_s, _*) = line.split("\t")
    val info = info_s.split(",").map { kv =>
        val Array(key, value, _*) = kv.split(":")
        (key, value.toDouble)
    }.toSeq
    (id, info)
}.collect()

# Array[(String, Seq[(String, Double)])] = Array((12334,WrappedArray((this,23.0), (word,21.0), (teacher,23.0))))