将拆分与数据帧一起使用时出现未找到的错误

Question

我正在使用Spark和Scala。我有以下代码在spark-shell上运行良好，但是当我尝试将其移至Intelij时会抛出错误，指出无法找到split。

我缺少什么，需要导入split才能正常工作

var outputDF = inputDF.withColumn(srcColumn, 
split(inputDF.col(srcColumn),splitBy).getItem(selectIndex))

Answer 1

您可能缺少此导入：

import org.apache.spark.sql.functions._

（在Spark Shell中自动提供）