小编Ati*_*ish的帖子

Mongodb分片:使用Hashed Shard Key进行分块失败

我正在尝试使用散列分片键分割mongodb分片群集中的几个jumbo块:{group_id:"hashed"}.

我使用mongodb docs中的以下命令来拆分这些巨型块:

db.runCommand( { split: "test.people",
                  bounds : [ { group_id: NumberLong("-5838464104018346494") },
                             { group_id: NumberLong("-5557153028469814163") }
             ] } )
Run Code Online (Sandbox Code Playgroud)

但是得到以下错误:

{ "cause" : { }, "ok" : 0, "errmsg" : "split failed" }.
Run Code Online (Sandbox Code Playgroud)

这次失败的可能原因是什么?分片键group_id的基数为26231,总共4521157个文档.

检查了这个讨论,但无法找到原因.

PS:group_id是ObjectId.

sharding mongodb

7
推荐指数
1
解决办法
591
查看次数

发生故障转移时没有可用的主服务器:MongoDB、Node.js、Mongoose

当 mongodb 副本集中发生故障转移时,我目前面临一个问题。应用程序无法重新连接到新选举的主服务器,并且无法执行所有后续写入操作。

重新启动应用程序重新连接成功。

故障转移立即发生,并选出新的主节点。但是,该应用程序无法连接到新的主数据库。

mongodb版本:3.2.6 mongoose版本:4.3.4 node.js版本:0.10.26

mongoose mongodb node.js

6
推荐指数
1
解决办法
8066
查看次数

AWS EMR Spark:错误:无法从 JAR 加载主类

我正在尝试使用 AWS 控制台向 AWS EMR 集群提交 Spark 作业。但它失败了:

Cannot load main class from JAR. 当我将主类指定为AWS EMR 控制台-> 添加步骤--class中的Arguments选项时,作业成功运行。

在本地机器上,当没有指定如下主类时,这项工作似乎工作得很好:

 ./spark-submit /home/astro/spark-programs/SpotEMR/MyJob.jar
Run Code Online (Sandbox Code Playgroud)

我已使用运行配置将主类设置为 jar。避免按原样传递主类的主要原因--class是,我必须使用 EMRAcivity 在 AWS Datapipeline 中运行此作业。在 AWS Datapipeline 中,目前无法为正在提交的作业指定主类。

任何帮助将不胜感激。

amazon-emr amazon-data-pipeline apache-spark

5
推荐指数
1
解决办法
3558
查看次数