如何使用默认和非托管数据库运行 Django 单元测试？

Question

我有一个 Django 项目，它有一个默认数据库，用于存储用户、订单等内容。

我们还有一个非托管数据库。现在，当您运行 Django 测试时，它们会尝试创建测试数据库，但由于我们有一个非托管数据库，因此我们无法执行此操作。我无法创建此数据库的迁移，因为这将导致 300 个关于反向访问器冲突的错误。

我们使用 Docker 并自动启动这个非托管数据库并用一些模拟数据填充它。这个是用来做开发之类的。我希望单元测试使用这个来进行测试。

我尝试了创建迁移之类的事情，但由于反向访问器问题，这是不可能的。

有没有办法使用非托管数据库进行单元测试？Django 创建的 test_default 数据库很好，但我无法创建 test_unmanaged 数据库。

Answer 1

我们在同一数据库中使用托管和非托管表的设置，这也可能适合您的用例：

我们有一个脚本可以从两个转储生成测试数据库：test_structure.sql一个test_fixtures.sql. 前者包含数据库在某个时间点的结构，包括所有非托管表。后者包含测试期间非托管表中可能需要的任何数据以及表的内容django_migrations。我们test_fixtures.sql使用生成的列表进行转储COPY (SELECT * FROM {table}) TO STDOUT；语句，例如：COPY (SELECT * FROM obs_00.django_migrations) TO STDOUT WITH NULL '--null--';.

使用如下函数将输出psql -c {copy_statement}转换为语句：INSERT

def csv2sqlinsert(table_name, data):
    """
    Convert TSV output of  COPY (SELECT * FROM {table}) TO STDOUT
    to                     INSERT INTO {table} VALUES (), ()...();
    """

    def is_int(val):
        try:
            return "{}".format(int(val)) == val
        except ValueError:
            return False

    def column(data):
        if data == "--null--":
            return "null"
        elif is_int(data):
            return data
        else:
            return "'{}'".format(data.replace("'", "''"))  # escape quotes

    rows = [row.split("\t") for row in data.decode().split("\n") if len(row) > 1]

    if len(rows) == 0:
        return f"-- no data for {table_name}\n"

    data = ",\n".join("({})".format(",".join(column(col) for col in row)) for row in rows)

    ret = ""
    ret += f"-- {table_name} ({len(rows)} rows)\n"
    ret += f"INSERT INTO {table_name} VALUES\n{data};\n"

    return ret

实际上，这个函数更复杂，还简化了我们的 postgis 几何图形并截断大文本字段以节省空间。

创建测试数据库

在以下位置定义测试数据库名称settings_test.py：

DATABASES["default"].update({
    "NAME": "django_test_db",
    "TEST": {"NAME": "django_test_db",},
})

使用上面的两个文件，（重新）创建测试数据库如下所示：

dropdb django_test_db
createdb django_test_db
psql -d django_test_db -f test_structure.sql
psql -d django_test_db < test_fixtures.sql

我们现在拥有转储时数据库的状态。因为可能会有新的迁移，所以我们让django进行迁移：

./manage.py migrate --settings=settings_test

运行测试

现在我们可以使用运行测试./manage.py test --settings=settings_test。由于每次测试运行重新创建数据库可能需要相当长的时间，因此添加--keepdb将为您节省大量等待测试数据库恢复过程的时间。

我们做了manage.py这样的修改，所以我们不能忘记：

#!/usr/bin/env python
import os
import sys

if __name__ == "__main__":
    if len(sys.argv) > 1 and sys.argv[1] == "test":
        os.environ.setdefault("DJANGO_SETTINGS_MODULE", "settings_test")
        cmd = sys.argv + ["--keepdb"]
    else:
        os.environ.setdefault("DJANGO_SETTINGS_MODULE", "settings")
        cmd = sys.argv

    from django.core.management import execute_from_command_line
    execute_from_command_line(cmd)