Mongo 大块不会分裂

Question

我设置了 3 个分片，但容量不足，所以我又添加了 3 个分片。（每个分片都是一个副本集）。但是数据并没有均匀地分布在集群中。我的 chunkSize 设置为标准的 64mb：

mongos> db.settings.find( { _id:"chunksize" } )
{ "_id" : "chunksize", "value" : 64 }

我认为这意味着当一个块达到 64mb 时，它会分成两个大小为 32mb 的相等块。这就是这里所展示的。那不正确吗？

这是我的分片分布：

mongos> db.accounts.getShardDistribution()
Shard rs_0 at rs_0/mongo_rs_0_member_1:27018,mongo_rs_0_member_2:27019,mongo_rs_0_member_3:27020
 data : 137.62GiB docs : 41991598 chunks : 1882
 estimated data per chunk : 74.88MiB
 estimated docs per chunk : 22312

Shard rs_1 at rs_1/mongo_rs_1_member_1:27018,mongo_rs_1_member_2:27019,mongo_rs_1_member_3:27020
 data : 135.2GiB docs : 41159069 chunks : 1882
 estimated data per chunk : 73.56MiB
 estimated docs per chunk : 21869

Shard rs_2 at rs_2/mongo_rs_2_member_1:27018,mongo_rs_2_member_2:27019,mongo_rs_2_member_3:27020
 data : 219.92GiB docs : 69739096 chunks : 1882
 estimated data per chunk : 119.66MiB
 estimated docs per chunk : 37055

Shard rs_3 at rs_3/mongo_rs_3_member_1:27018,mongo_rs_3_member_2:27019,mongo_rs_3_member_3:27020
 data : 101.52GiB docs : 30650628 chunks : 1882
 estimated data per chunk : 55.23MiB
 estimated docs per chunk : 16286

Shard rs_4 at rs_4/mongo_rs_4_member_1:27018,mongo_rs_4_member_2:27019,mongo_rs_4_member_3:27020
 data : 103.38GiB docs : 31071379 chunks : 1883
 estimated data per chunk : 56.22MiB
 estimated docs per chunk : 16500

Shard rs_5 at rs_5/mongo_rs_5_member_1:27018,mongo_rs_5_member_2:27019,mongo_rs_5_member_3:27020
 data : 101.1GiB docs : 30516395 chunks : 1881
 estimated data per chunk : 55.04MiB
 estimated docs per chunk : 16223

Totals
 data : 798.77GiB docs : 245128165 chunks : 11292
 Shard rs_0 contains 17.23% data, 17.13% docs in cluster, avg obj size on shard : 3KiB
 Shard rs_1 contains 16.92% data, 16.79% docs in cluster, avg obj size on shard : 3KiB
 Shard rs_2 contains 27.53% data, 28.45% docs in cluster, avg obj size on shard : 3KiB
 Shard rs_3 contains 12.7% data, 12.5% docs in cluster, avg obj size on shard : 3KiB
 Shard rs_4 contains 12.94% data, 12.67% docs in cluster, avg obj size on shard : 3KiB
 Shard rs_5 contains 12.65% data, 12.44% docs in cluster, avg obj size on shard : 3KiB

这是怎么回事？当设置为 chunkSize 时，前 3 个分片/副本集的平均大小如何大于 64mb？Rs_2 是 119mb！Rs_2 有 27.53% 的数据，而它应该有 16.6%。

我的 shardkey 中有非常高的基数，而且它不是单调递增的。

我应该在这里做什么？我可以手动找到大的块并将它们拆分，但这很痛苦。我要降低我的 chunkSize 吗？是否需要运行某些服务/呼叫才能自动执行此操作？

Answer 1

这里有很多内容，所以我会一点一点地进行，首先拆分：

我认为这意味着当一个块达到 64mb 时，它会分成两个大小为 32mb 的相等块。这就是这里所展示的。那不正确吗？

这不是它的工作原理。如果您有一个 64MB 的块并且您手动运行splitFind命令，您将（默认情况下）在中间点拆分 2 个块。尽管自动拆分的方式有所不同 - 细节实际上相当复杂，但使用我解释的经验法则，您将足够接近。

每个mongos跟踪它为每个块（大约）插入/更新了多少数据。当它看到大约 20% 的最大块大小（默认为 12-13MiB）已写入特定块时，它将尝试自动拆分该块。它向拥有块的主节点发送splitVector命令，要求它评估块范围并返回任何潜在的分割点。如果主要回复有效点，则 mongos 将尝试在这些点上进行拆分。如果没有有效的分割点，那么当更新/写入达到最大块大小的 40%、60% 时，mongos 将重试此过程。

正如您所看到的，这不会在拆分之前等待块达到最大大小，实际上它应该在此之前很久发生，并且对于正常运行的集群，您通常不会看到如此大的块。

这是怎么回事？当设置为 chunkSize 时，前 3 个分片/副本集的平均大小如何大于 64mb？Rs_2 是 119mb！

防止大块发生的唯一方法是上述自动拆分功能。您的平均块大小表明某些东西阻止了块被拆分。这有几个可能的原因，但最常见的原因是分片键的粒度不够细。

如果您的块范围缩小到单个键值，则无法进一步拆分，并且您将获得“巨型”块。我需要查看范围才能确定，但​​您可能可以很容易地手动检查它们，sh.status(true)但对于更容易理解的版本，请查看我发布的有关确定块分布的问答。

如果这是问题，您实际上只有 2 个选择 - 与巨型块一起生活（并可能增加最大块大小以允许它们移动 - 超过最大值的任何内容都将被中止并被 mongos 标记为“巨型”） ，或使用更细粒度的分片键重新分片数据，以防止创建单个键块。

Rs_2 有 27.53% 的数据，而它应该有 16.6%。

这是对平衡器的一个相当普遍的误解——它不根据数据大小进行平衡，它只是平衡块的数量（你可以看到它们分布得很好）——从这个角度来看，一个包含 0 个文档的块只计算与 250k 文档相同。因此，数据不平衡的原因是由于块本身的不平衡（有些包含的数据比其他块多得多）。

我应该在这里做什么？我可以手动找到大的块并将它们拆分，但这很痛苦。我要降低我的 chunkSize 吗？

降低块大小会导致 mongos 更频繁地检查分割点，但如果分割失败（您的块大小平均值表明就是这种情况），它只会更频繁地失败。作为第一步，我会找到最大的块（请参阅上面的问答链接）并首先将它们拆分为优先级。

如果您要进行任何手动拆分或移动，我建议关闭平衡器，这样它就不会持有元数据锁，并且不会在您开始拆分时立即启动。在低流量时间执行它通常也是一个好主意，因为否则我上面描述的自动拆分也会干扰。

快速搜索后，我手头没有任何通用的东西，但我过去曾见过用于自动化此过程的脚本。它往往需要定制以适应特定问题（例如，想象一下由于单调分片键与块数据密度问题导致的不平衡）。