sow*_*taa 5 java postgresql database-migration mongodb node.js
我必须将 500 万条记录从 迁移PostgreSQL到MongoDb.
我尝试使用mongify它,但当它继续运行时ruby,我根本不熟悉 ruby,我无法解决它带来的错误。
因此,我尝试自己编写代码node.js,首先将其转换PostgreSQL data为JSONJSON,然后将该 JSON 插入到mongoDb. 但是,这失败了,因为它消耗了大量 RAM,并且只能迁移不超过 13000 条记录。
然后我想到了写代码,Java因为它的垃圾收集器。它在 RAM 利用率方面工作正常,但速度非常慢(大约 10000 条记录/小时)。按照这个速度,我需要几天的时间来迁移我的数据。
那么,有没有更有效、更快捷的方法来做到这一点?python 程序会比 Java 程序更快吗?或者有没有其他现成的工具可以做同样的事情?
我的系统配置是:操作系统 - Windows 7(64 位),RAM - 4GB,i3 处理器
好像我参加聚会迟到了。然而,这对某人来说可能会派上用场,有一天!!!!
以下基于 python 的迁移框架应该会派上用场。
https://github.com/datawrangl3r/pg2mongo
根据你的表现,每个 JSON 对象的迁移都是动态的,当你使用上述框架时,不应该有任何内存锁定问题。
希望能帮助到你!!
| 归档时间: |
|
| 查看次数: |
4922 次 |
| 最近记录: |