readTypedObject中的SparkR错误(con,type):反序列化的不支持类型

Question

我刚开始使用SparkR.我写了一个简单的脚本,初始化Spark运行分析并将我的输出收集到R.当试图停止sparkR时:

sparkR.stop()

我得到以下内容:

Stopping SparkR
Error in readTypedObject(con, type) : Unsupported type for deserialization

似乎Spark没有停止,因为:

> sc <- sparkR.init(master="local")
Re-using existing Spark Context. Please stop SparkR with sparkR.stop() or restart R to create a new Spark Context

任何人都可以向我解释发生了什么以及这个错误意味着什么？谢谢

Answer 1

看起来 SparkR 后端进程没有正确退出 您可以通过列出所有 java 进程来显式停止 SparkR 后端进程，例如jps，然后kill <pid>为 SparkRBackend 对应的 pid 发出 a 。之后重新启动 SparkR 应该可以解决问题