将数据从 PostgreSQL 迁移到 MongoDB

sow*_*taa 5 java postgresql database-migration mongodb node.js

我必须将 500 万条记录从 迁移PostgreSQLMongoDb.

我尝试使用mongify它,但当它继续运行时ruby,我根本不熟悉 ruby​​,我无法解决它带来的错误。

因此,我尝试自己编写代码node.js,首先将其转换PostgreSQL dataJSONJSON,然后将该 JSON 插入到mongoDb. 但是,这失败了,因为它消耗了大量 RAM,并且只能迁移不超过 13000 条记录。

然后我想到了写代码,Java因为它的垃圾收集器。它在 RAM 利用率方面工作正常,但速度非常慢(大约 10000 条记录/小时)。按照这个速度,我需要几天的时间来迁移我的数据。

那么,有没有更有效、更快捷的方法来做到这一点?python 程序会比 Java 程序更快吗?或者有没有其他现成的工具可以做同样的事情?

我的系统配置是:操作系统 - Windows 7(64 位),RAM - 4GB,i3 处理器

Sat*_*ran 6

好像我参加聚会迟到了。然而,这对某人来说可能会派上用场,有一天!!!!

以下基于 python 的迁移框架应该会派上用场。

https://github.com/datawrangl3r/pg2mongo

根据你的表现,每个 JSON 对象的迁移都是动态的,当你使用上述框架时,不应该有任何内存锁定问题。

希望能帮助到你!!