如何在Spark-java数据框中添加常量列

Question

我已经进口了

import org.apache.spark.sql.Column;
import org.apache.spark.sql.functions;

在我的Java-Spark驱动程序中

但

DataFrame inputDFTwo = hiveContext.sql("select * from sourcing_src_tbl");
inputDFTwo.withColumn("asofdate", lit("2016-10-2"));

这里"点亮"仍然在eclipse(windows)中显示错误.我应该包含哪些库才能使其正常工作.

Answer 1

像你知道的那样导入对象并使用它来访问方法:

import org.apache.spark.sql.functions;

df.withColumn("foo", functions.lit(1));

或import static直接使用和调用方法:

import static org.apache.spark.sql.functions.lit;

df.withColumn("foo", lit(1));