我有大量的数据收集,我必须每周末转移到另一台机器.所以我计划进行增量备份和恢复.经过实验,如果_id已经存在,mongorestore永远不会合并数据.基于上述问题,我尝试使用mongoimport并导出但存在同样的问题,因为现有记录未合并.任何可能的解决方案都会有所帮助.
由:: 11000引起的mongoimport命令错误E11000重复键错误索引:news.news_data.$ id dup key:{:ObjectId('5404410d9f5323ef734dac68')}
在 Elasticsearch 中，我们使用了术语 facet 和术语聚合来解决上述问题。不幸的是，这肯定适用于小数据集。但我们正在处理大约 1000 万份文件的数据。
因此，当我们通过使用聚合（设置“大小”：0）或方面（使用“排除”）查询以获取字段（例如公司字段）的所有唯一值时，我们将无法获得整个结果拉紧。似乎 elasticsearch 需要很多时间来响应，最终导致节点故障。
此过程的唯一目的是计算字段中存在多少唯一值（例如公司、唯一公司的数量）。
任何建议将是可观的。