相关疑难解决方法(0)

我有一个Django 1.1应用程序,需要每天从一些大的json文件导入数据.为了给出一个想法,其中一个文件超过100 Mb并且有90K条目导入到Postgresql数据库.

我遇到的问题是导入数据需要很长时间,即数小时.我原以为将数量的条目写入数据库会花费一些时间,但肯定不会那么长,这让我觉得我在做一些内在错误的事情.我已经阅读了类似的stackexchange问​​题,并且提出的解决方案建议使用transaction.commit_manually或transaction.commit_on_success装饰器分批提交,而不是每次都提交.save(),我已经在做了.

正如我所说,我想知道我做错了什么(例如批量生成太大了？太多的外键？......),或者我是否应该放弃Django模型来实现这个功能和使用DB API直接.任何想法或建议？

以下是我在导入数据时要处理的基本模型(为了简单起见,我删除了原始代码中的一些字段)

class Template(models.Model):
    template_name = models.TextField(_("Name"), max_length=70)
    sourcepackage = models.TextField(_("Source package"), max_length=70)
    translation_domain = models.TextField(_("Domain"), max_length=70)
    total = models.IntegerField(_("Total"))
    enabled = models.BooleanField(_("Enabled"))
    priority = models.IntegerField(_("Priority"))
    release = models.ForeignKey(Release) 

class Translation(models.Model):
    release = models.ForeignKey(Release)
    template = models.ForeignKey(Template)
    language = models.ForeignKey(Language)
    translated = models.IntegerField(_("Translated"))

这里的代码似乎需要很长时间才能完成:

@transaction.commit_manually
def add_translations(translation_data, lp_translation):

    releases = Release.objects.all()

    # There are 5 releases
    for release in releases:

        # translation_data has about 90K entries
        # this is …