Spark：使用地图中的键选择

Question

我需要使用geo.cca mapin a 中的键进行选择DataFrame：

 |-- params: map (nullable = true)
 |    |-- key: string
 |    |-- value: string (valueContainsNull = true)

但是键的值，中间有一个点，似乎混淆了 Spark。如果我写：

X.filter(X("params.geo.cc") === "us")

我收到错误：

org.apache.spark.sql.AnalysisException: Can't extract value from params#3[geo];

我能做什么？（不用说，我不控制键，即我不能将该geo.cc字符串更改为例如geo_cc.

Answer 1

你应该使用apply：

val df = Seq((1L, Map("geo.cc" -> "US"))).toDF("id", "params")

df.select($"params"("geo.cc") === "US").show
// +-----------------------+
// |(params['geo.cc'] = US)|
// +-----------------------+
// |                   true|
// +-----------------------+

或者getItem

df.select($"params".getItem("geo.cc") === "US").show
// +-----------------------+
// |(params['geo.cc'] = US)|
// +-----------------------+
// |                   true|
// +-----------------------+

在特定列上，而不是DataFrame.

Answer 2

尝试这个 ：

X.filter(col("params")("key") === "geo.cc" && col("params")("value") === "us")