使用 Scala 为 spark 编写 Parquet 文件而无需 spark 作为依赖项

Question

我想将我的集合写入 .parquet 文件，以便以后可以使用 Spark 读取它。

到目前为止，我正在使用以下代码创建文件：

package com.contrib.parquet

import org.apache.avro.SchemaBuilder
import org.apache.avro.reflect.ReflectData
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.Path
import org.apache.parquet.avro.AvroParquetWriter
import org.apache.parquet.hadoop.{ParquetFileWriter, ParquetWriter}
import org.apache.parquet.hadoop.metadata.CompressionCodecName

object ParquetWriter {
  def main(args: Array[String]): Unit = {

    val schema = SchemaBuilder
      .record("Record")
      .fields()
      .requiredString("name")
      .requiredInt("id")
      .endRecord()

    val writer: ParquetWriter[Record] = AvroParquetWriter
      .builder(new Path("/tmp/parquetResult"))
      .withConf(new Configuration)
      .withDataModel(ReflectData.get)
      .withCompressionCodec(CompressionCodecName.SNAPPY)
      .withSchema(schema)
      .withWriteMode(ParquetFileWriter.Mode.OVERWRITE)
      .build()

    Seq(Record("nameOne", 1), Record("nameTwo", 2)).foreach(writer.write)
    writer.close()
  }

  case class Record(name: String, id: Int)
}

它成功地创建了一个镶木地板文件。当我尝试使用 spark 读取该文件时，java.lang.NoSuchMethodError: org.apache.parquet.column.values.ValuesReader.initFromPage出现错误。

火花代码：

val master = "local[4]"
val sparkCtx = SparkSession
  .builder()
  .appName("ParquetReader")
  .master(master)
  .getOrCreate()

val schema = Encoders.product[Record].schema
val df = sparkCtx.read.parquet("/tmp/parquetResult")
df.show(100, false)

如何编写 Parquet 文件以便可以使用 Spark 读取它们？我不想让本地 Spark 应用程序只是为了编写这个文件。

Answer 1

我们最终使用开源库： https: //github.com/mjakubowski84/parquet4s