小编Men*_*kov的帖子

mongoexport 不导出所有可能的数据


我有一个包含类似于以下文档的集合:

{
 _id: 'p_123456',
 id: 123456,
 kind: 'person'
 data: [...]
}
Run Code Online (Sandbox Code Playgroud)

id 字段可以包含正整数或负整数。
该集合包含近 1 亿个文档,我有一个 python 脚本,用于处理集合中的数据。

我正在尝试将所有数据导出到 8 个不同的进程中,使用 $mod 运算符按以下方式:
mongoexport -u user -p password -d db -c collection --query "{\$and:[{kind:'person'},{id:{\$mod:[8,\$i]}}]}" | python process.py- 其中 $i 是 0 - 7 之间的数字。

出于某种原因,我注意到当我将这种方法与 8 个进程一起使用时,并非所有数据都被导出到这种特定类型的 8700 万个中的 6500 万个。

如果我{kind:'person'}仅使用查询运行单个 mongoexport 进程,则所有 8700 万个文档都将被导出。

是否有可能运行8个不同proccesses与$mod:[8,0]$mod:[8,7]是不够的,以导出所有的数据?我在这里错过了什么?

编辑 1:
按照 AdamC 的建议,我运行了以下 map reduce:

var map = function() {
  if (this.kind == 'person'){ …
Run Code Online (Sandbox Code Playgroud)

mongodb export

5
推荐指数
1
解决办法
1881
查看次数

标签 统计

export ×1

mongodb ×1