小编SFa*_*ima的帖子

Spark 1.5和Scala 2.10.6

我有一个使用"||"作为分隔符的数据文件.我很难解析这个以创建数据框.可以使用多个分隔符来创建数据框吗？该代码适用于单个损坏的管道,但不适用于多个分隔符.

我的代码:

val customSchema_1 = StructType(Array(
    StructField("ID", StringType, true), 
    StructField("FILLER", StringType, true), 
    StructField("CODE", StringType, true)));

val df_1 = sqlContext.read
    .format("com.databricks.spark.csv")
    .schema(customSchema_1)
    .option("delimiter", "¦¦")
    .load("example.txt")

样本文件:

12345¦¦  ¦¦10