无法在RStudio中启动SparkR

Question

经过漫长而艰难的SparkR安装过程后,我遇到了启动SparkR的新问题.

我的设置

R 3.2.0    
RStudio 0.98.1103    
Rtools 3.3    
Spark 1.4.0
Java Version 8
SparkR 1.4.0
Windows 7 SP 1  64 Bit

现在我尝试在R中使用以下代码:

library(devtools)
library(SparkR)
Sys.setenv(SPARK_MEM="1g")
Sys.setenv(SPARK_HOME="C:/spark-1.4.0")
sc <- sparkR.init(master="local")

我收到以下信息:

JVM is not ready after 10 seconds

我还试图添加一些系统变量,如spark path或java path.

你有什么建议让我解决这个问题.

测试本地主机后,下一步是在我运行的hadoop集群上开始测试.

Answer 1

我认为这是一个现在已经解决的错误.试试以下,

Sys.setenv(SPARK_HOME="C:\\spark-1.4.0")

.libPaths(c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"), .libPaths()))

library("SparkR", lib.loc="C:\\spark-1.4.0\\lib") # The use of \\ is for windows environment.

library(SparkR)

sc=sparkR.init(master="local")

使用spark-submit命令启动java C:\spark-1.4.0/bin/spark-submit.cmd sparkr-shell

C:\Users\Ashish\AppData\Local\Temp\RtmpWqFsOB\backend_portbdc329477c6

希望这可以帮助.