小编YRK*_*YRK的帖子

如何动态传递参数以过滤 Apache Spark 中的函数?

我有一个员工文件,其中包含以下数据:

Name:   Age:
David   25
Jag     32
Paul    33
Sam     18
Run Code Online (Sandbox Code Playgroud)

我加载到dataframeApache Spark 中,我正在过滤如下值:

Name:   Age:
David   25
Jag     32
Paul    33
Sam     18
Run Code Online (Sandbox Code Playgroud)
employee_rdd=sc.textFile("employee.txt")
employee_df=employee_rdd.toDF()
employee_data = employee_df.filter("Name = 'David'").collect() 
Run Code Online (Sandbox Code Playgroud)

但是当我尝试做这样的事情时:

emp_Name='Sam' 并将此名称传递给过滤器,如下所示:

employee_data = employee_df.filter("Name = 'emp_Name'").collect
Run Code Online (Sandbox Code Playgroud)

但这给了我空清单。

apache-spark apache-spark-sql pyspark

1
推荐指数
1
解决办法
1万
查看次数

标签 统计

apache-spark ×1

apache-spark-sql ×1

pyspark ×1