小编gee*_*eek的帖子

MongoDB副本集:主节点和辅助节点中的磁盘大小差异

我只是做了mongodb副本集配置,看起来都很好.所有数据都正确地移动到辅助节点.但是当我查看数据目录时,我可以看到Primary有~140G的数据,同时辅助只有~110G.

设置副本集时是否有人遇到此类问题.这是正常的行为吗?

replication mongodb

6
推荐指数
1
解决办法
1893
查看次数

来自RDD地图的Spark Scala序列化错误

我有一个格式为 RDD[((Long, Long), (Long, Long))] 的 RDD,我需要转换或转换为 RDD[((Long, Long), (Long, Long, Long, Long))]其中第二个 RDD 元组基于第一个 RDD 的函数。

我正在尝试实现这个基于地图的功能,但是,我认为我在这里做错了。请帮我解决这个问题。

这是完整的代码:

package com.ranker.correlation.listitem
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.rdd._
import scala.collection.Map

class ListItemCorrelation(sc: SparkContext) extends Serializable {

  def up_down(dirX: Long, dirY: Long): (Long, Long, Long, Long) = {
    if (dirX.equals(1)) {
      if (dirY.equals(1)) {
        return (1, 0, 0, 0)
      } else {
        return (0, 1, 0, 0)
      }
    } else {
      if (dirY.equals(1)) {
        return (0, 0, 1, 0)
      } …
Run Code Online (Sandbox Code Playgroud)

serialization scala apache-spark

5
推荐指数
1
解决办法
1144
查看次数