小编Ego*_*Ego的帖子

如何在PySpark中删除RDD以释放资源?

如果我有一个不再需要的RDD,如何从内存中删除它?以下是否足以完成这项工作:

del thisRDD
Run Code Online (Sandbox Code Playgroud)

谢谢!

python apache-spark pyspark

21
推荐指数
3
解决办法
2万
查看次数

有没有办法指导Oozie杀死所有工作?

我试过了

oozie job -oozie http://sandbox.hortonworks.com:11000/oozie -config ./job.properties -kill *
Run Code Online (Sandbox Code Playgroud)

......没有效果.我做了一些谷歌搜索并检查了Oozie的文档,似乎没有这方面的命令.

任何人都知道如何实现这一目标吗?

oozie

4
推荐指数
1
解决办法
5072
查看次数

使用 Spark 和 HiveSQL 执行多个查询的问题

我希望有人可以帮助我解决这个问题。在 spark-shell 中,如果我尝试以下操作:

var sqlContext = new org.apache.spark.sql.hive.HiveContext(sc) 

var query = "select * from myDB.table limit 10; drop table if exists"

var queryDF = sqlContext.sql(query)
Run Code Online (Sandbox Code Playgroud)

我收到一个错误:

“org.apache.spark.sql.AnlysisException:在';'处缺少EOF....

我可以很好地执行简单的单行查询……但是多命令查询总是会导致此错误。

有没有人遇到并解决过这个问题?提前致谢!!!

hive apache-spark apache-spark-sql

2
推荐指数
1
解决办法
3807
查看次数

标签 统计

apache-spark ×2

apache-spark-sql ×1

hive ×1

oozie ×1

pyspark ×1

python ×1