在Django中优化Postgresql数据库写入的性能？

Question

我有一个Django 1.1应用程序,需要每天从一些大的json文件导入数据.为了给出一个想法,其中一个文件超过100 Mb并且有90K条目导入到Postgresql数据库.

我遇到的问题是导入数据需要很长时间,即数小时.我原以为将数量的条目写入数据库会花费一些时间,但肯定不会那么长,这让我觉得我在做一些内在错误的事情.我已经阅读了类似的stackexchange问​​题,并且提出的解决方案建议使用transaction.commit_manually或transaction.commit_on_success装饰器分批提交,而不是每次都提交.save(),我已经在做了.

正如我所说,我想知道我做错了什么(例如批量生成太大了？太多的外键？......),或者我是否应该放弃Django模型来实现这个功能和使用DB API直接.任何想法或建议？

以下是我在导入数据时要处理的基本模型(为了简单起见,我删除了原始代码中的一些字段)

class Template(models.Model):
    template_name = models.TextField(_("Name"), max_length=70)
    sourcepackage = models.TextField(_("Source package"), max_length=70)
    translation_domain = models.TextField(_("Domain"), max_length=70)
    total = models.IntegerField(_("Total"))
    enabled = models.BooleanField(_("Enabled"))
    priority = models.IntegerField(_("Priority"))
    release = models.ForeignKey(Release) 

class Translation(models.Model):
    release = models.ForeignKey(Release)
    template = models.ForeignKey(Template)
    language = models.ForeignKey(Language)
    translated = models.IntegerField(_("Translated"))

这里的代码似乎需要很长时间才能完成:

@transaction.commit_manually
def add_translations(translation_data, lp_translation):

    releases = Release.objects.all()

    # There are 5 releases
    for release in releases:

        # translation_data has about 90K entries
        # this is the part that takes a long time
        for lp_translation in translation_data:
            try:
                language = Language.objects.get(
                    code=lp_translation['language'])
            except Language.DoesNotExist:
                continue

            translation = Translation(
                template=Template.objects.get(
                            sourcepackage=lp_translation['sourcepackage'],
                            template_name=lp_translation['template_name'],
                            translation_domain=\
                                lp_translation['translation_domain'],
                            release=release),
                translated=lp_translation['translated'],
                language=language,
                release=release,
                )

            translation.save()

        # I realize I should commit every n entries
        transaction.commit()

        # I've also got another bit of code to fill in some data I'm
        # not getting from the json files

        # Add missing templates
        languages = Language.objects.filter(visible=True)
        languages_total = len(languages)

        for language in languages:
            templates = Template.objects.filter(release=release)

            for template in templates:
                try:
                    translation = Translation.objects.get(
                                    template=template,
                                    language=language,
                                    release=release)
                except Translation.DoesNotExist:
                    translation = Translation(template=template,
                                              language=language,
                                              release=release,
                                              translated=0,
                                              untranslated=0)
                    translation.save()

            transaction.commit()

Answer 1

通过您的应用程序去和处理每一行是很多加载数据直接到服务器慢.即使使用优化的代码.另外,插入/在一个时间更新一行是很多又慢于处理的一次.

如果导入文件在本地可用于服务器,则可以使用COPY.否则,您可以\copy在标准界面中使用meta命令psql.您提到JSON,为此,您必须将数据转换为合适的平面格式,如CSV.

如果您只想向表中添加新行:

COPY tbl FROM '/absolute/path/to/file' FORMAT csv;

或者,如果要插入/更新某些行:

首先:为temp_buffers使用足够的RAM (至少暂时,如果可以的话),这样就不必将临时表写入磁盘.请注意,必须在访问此会话中的任何临时表之前完成此操作.

SET LOCAL temp_buffers='128MB';

内存表示比on.disc表示数据需要更多的空间.因此,对于100 MB的JSON文件..减去JSON开销,加上一些Postgres开销,128 MB可能或可能不够.但是您不必猜测,只需进行测试并测量它:

select pg_size_pretty(pg_total_relation_size('tmp_x'));

创建临时表:

CREATE TEMP TABLE tmp_x (id int, val_a int, val_b text);

或者,只复制现有表的结构:

CREATE TEMP TABLE tmp_x AS SELECT * FROM tbl LIMIT 0;

复制值(应该是几秒钟,而不是几小时):

COPY tmp_x FROM '/absolute/path/to/file' FORMAT csv;

从那里INSERT/UPDATE与普通的旧SQL.在计划复杂查询时,您甚至可能希望在临时表上添加一个或两个索引并运行ANALYZE:

ANALYZE tmp_x;

例如,要更新现有行,请按id以下方式匹配:

UPDATE tbl
SET    col_a = tmp_x.col_a
USING  tmp_x
WHERE  tbl.id = tmp_x.id;

最后,删除临时表:

DROP TABLE tmp_x;

或者在会话结束时自动删除.