将Spark RDD保存到Hive表

Question

在spark中我想将RDD对象保存到hive表中.我试图使用createDataFrame,但这是扔

线程"main"java.lang.NullPointerException中的异常

 val products=sc.parallelize(evaluatedProducts.toList);
 //here products are RDD[Product]
 val productdf = hiveContext.createDataFrame(products, classOf[Product])

我正在使用Spark 1.5版本.

Answer 1

如果您的产品是一个类(不是案例类),我建议您在创建DataFrame之前将您的rdd转换为RDD [Tuple]:

import org.apache.spark.sql.hive.HiveContext

val hiveContext = new HiveContext(sc)
import hiveContext.implicits._

val productDF = products
  .map({p: Product => (p.getVal1, p.getVal2, ...)})
  .toDF("col1", "col2", ...)

使用此方法,您将Product属性作为DataFrame中的列.

然后,您可以创建一个临时表:

productDF.registerTempTable("table_name")

或物理表:

productDF.write.saveAsTable("table_name")