小编Ben*_*Raj的帖子

如果启用 Apache Arrow,SparkR 代码将失败

我在 SparkRDataframe 上运行 gapply 函数,如下所示

 df<-gapply(sp_Stack, function(key,e) {
    
      Sys.setlocale('LC_COLLATE','C')
   
      suppressPackageStartupMessages({ 
      library(Rcpp)
      library(Matrix)
      library(reshape)
      require(parallel)
      require(lubridate)
      library(plyr)
      library(reticulate)
      library(stringr)
      
      library(data.table)
   })
      calcDecsOnly(e,RequestNumber=RequestNumber,
                   ...)
    },cols="udim",schema=schema3)
Run Code Online (Sandbox Code Playgroud)

如果我们设置 spark.sql.execution.arrow.sparkr.enabled = "false" 上面的代码运行没有任何错误,但如果我设置 spark.sql.execution.arrow.sparkr.enabled = "true" 火花作业失败低于错误

Caused by: java.io.EOFException
    at java.io.DataInputStream.readInt(DataInputStream.java:392)
    at org.apache.spark.sql.execution.r.ArrowRRunner$$anon$2.read(ArrowRRunner.scala:154)
Run Code Online (Sandbox Code Playgroud)

环境:Google Cloud Dataproc Spark 版本:3.1.1 Dataproc 版本:基于 2.0.9-debian10 构建的自定义映像

感谢这里的任何帮助,提前致谢

apache-spark sparkr google-cloud-dataproc apache-arrow

5
推荐指数
0
解决办法
134
查看次数

Apache Ignite Fault Tolerance

我对分区模式下的Ignite Cache几乎没有任何疑问

1)当节点在Ignite群集中发生故障时,如果故障节点是密钥的主节点,则备份是否为新的主节点?

2)故障节点中的备份副本会发生什么?它们会在群集中重新创建吗?

3)如果我在缓存配置中设置CacheRebalanceMode,它是否也适用于节点故障,或仅适用于节点添加?

ignite

4
推荐指数
1
解决办法
655
查看次数