R - 无法使用Sparklyr从Spark收集数据

Igo*_*gor 5 r apache-spark sparklyr

sparklyr在Windows服务器上使用Spark 2.0.2与RStudio 上的0.5.4-9004 结合使用.

每隔一段时间,当我尝试从spark服务器收集,读取或写入数据时,我收到以下错误:

Error in UseMethod("invoke") : 
  no applicable method for 'invoke' applied to an object of class "character"
Run Code Online (Sandbox Code Playgroud)

我不确定这是服务器问题,还是有问题sparklyr.

到目前为止,我必须解决这个问题的唯一方法是重新启动sparklyr与Spark 的连接.

这是我正在使用的简单代码:

sc <- spark_connect(master = "spark://####:7077")

tibble_file_parquet <- spark_read_parquet(
  sc, "file_parquet", path, overwrite = TRUE)

result <- tibble_file_parquet %>% count(x, y)

collect(result)
Run Code Online (Sandbox Code Playgroud)