如何从命令行或火花壳显示镶木地板文件的方案(包括类型)？

Question

我已经确定了如何使用spark-shell来显示字段名称,但它很难看并且不包括类型

val sqlContext = new org.apache.spark.sql.SQLContext(sc)

println(sqlContext.parquetFile(path))

打印:

ParquetTableScan [cust_id#114,blar_field#115,blar_field2#116], (ParquetRelation /blar/blar), None

Answer 1

你应该能够做到这一点:

sqlContext.read.parquet(path).printSchema()

来自Spark文档:

// Print the schema in a tree format
df.printSchema()
// root
// |-- age: long (nullable = true)
// |-- name: string (nullable = true)