从空数组创建类型化数组列

Question

我只想解决以下问题：我想过滤掉数据帧的所有元组，其中一列中包含的字符串不包含在黑名单中，该黑名单作为（可能为空）字符串数组给出。

例如：如果黑名单包含“四十二”和“二十三”，则从数据框中过滤掉相应列包含“四十二”或“二十三”的所有行。

以下代码将成功执行，如果blacklist不为空（例如 Array("fourty2")）而失败（Array.empty[String]）：

//HELPERs
val containsStringUDF = udf(containsString(_: mutable.WrappedArray[String], _: String))
def containsString(array: mutable.WrappedArray[String], value: String) = {array.contains(value)}

def arrayCol[T](arr: Array[T]) = {array(arr map lit: _*)}

df.filter(!containsStringUDF(arrayCol[String](blacklist),$"theStringColumn"))

错误信息是：

org.apache.spark.sql.AnalysisException: cannot resolve 'UDF(array(), theStringColumn)' due to data type mismatch: argument 1 requires array<string> type, however, 'array()' is of array<null> type

看起来，空数组似乎没有类型可以触发。有没有好的方法来处理这个问题？

Answer 1

你多虑了一个问题。你真正需要的是isin：

val blacklist = Seq("foo", "bar")

$"theStringColumn".isin(blacklist: _*)

此外，不要依赖本地类型ArrayType作为WrappedArray. 只需使用Seq.

最后回答你的问题，你可以：

array().cast("array<string>")

或者：

import org.apache.spark.sql.types.{ArrayType, StringType}

array().cast(ArrayType(StringType))