相关疑难解决方法(0)

如何根据列值是否在Spark DataFrame的一组字符串中过滤行

是否有更优雅的过滤方式基于一组字符串中的值?

def myFilter(actions: Set[String], myDF: DataFrame): DataFrame = {
  val containsAction = udf((action: String) => {
    actions.contains(action)
  })

  myDF.filter(containsAction('action))
}
Run Code Online (Sandbox Code Playgroud)

在SQL中你可以做到

select * from myTable where action in ('action1', 'action2', 'action3')
Run Code Online (Sandbox Code Playgroud)

scala apache-spark apache-spark-sql

13
推荐指数
1
解决办法
2万
查看次数

标签 统计

apache-spark ×1

apache-spark-sql ×1

scala ×1