小编Sou*_*tra的帖子

我有一个由两台机器组成的 Spark 集群，当我运行 Spark 流应用程序时，出现以下错误：

Exception in thread "main" org.apache.spark.SparkException: Checkpoint RDD ReliableCheckpointRDD[11] at print at StatefulNetworkWordCount.scala:78(1) has different number of partitions from original RDD MapPartitionsRDD[10] at updateStateByKey at StatefulNetworkWordCount.scala:76(2)
    at org.apache.spark.rdd.ReliableRDDCheckpointData.doCheckpoint(ReliableRDDCheckpointData.scala:73)
    at org.apache.spark.rdd.RDDCheckpointData.checkpoint(RDDCheckpointData.scala:74)

如何在不是 HDFS/Cassandra/任何其他数据存储的文件系统上提供检查点目录？

我想到了两种可能的解决方案，但我不知道如何编写它们：

1. 有一个远程目录，该目录对于两个工作人员来说都是本地的

2. 为两个工作人员指定远程目录

有什么建议 ？

我有一个RDD(String数组)org.apache.spark.rdd.RDD[String] = MappedRDD[18] 并将其转换为具有唯一ID的地图.我做了' val vertexMAp = vertices.zipWithUniqueId'但这给了我另一种类型的RDD,'org.apache.spark.rdd.RDD[(String, Long)]'但我想要一个' Map[String, Long]'.我该如何转换我的' org.apache.spark.rdd.RDD[(String, Long)] to Map[String, Long]'？

谢谢

我是scala和graphx的新手,在将tsv文件转换为图形时遇到问题.我有一个平面标签分隔文件,如下所示:

n1 P1 n2 n3 P1 n4 n2 P2 n3 n3 P2 n1 n1 P3 n4 n3 P3 n2

其中n1,n2,n3,n4是图的节点,R1,P2,P3是应该在节点之间形成边的属性.

如何在SPARK GraphX中根据上述文件构建图形？示例代码非常有用.

在Spark Streaming应用程序中维护应用程序状态的最佳方法是什么？

我知道两种方法：

1. 使用“联合”（Union）操作附加到查找RDD，并在每次合并后保留它。
2. 将状态保存在文件或数据库中，并在每个批处理的开始时加载它。

我的问题是从性能角度来看哪个更好？另外，还有更好的方法吗？