在两个 django 服务器之间同步数据

Question

我有一个中央 Django 服务器，其中包含数据库中的所有信息。我想要第二个 Django 服务器，其中包含第二个数据库中该信息的子集。我需要一种万无一失的方法来有选择地在两者之间同步数据。

• 辅助 Django 需要在特定时间从主 Django 中提取其数据子集。该子集必须按某些字段进行过滤。
• 辅助 Django 偶尔需要将其数据推送到主 Django。
• 理想情况下，双向同步将为每个模型保留最近修改的对象。

我正在考虑使用 TimeStampedModel （来自 django-extensions）或添加我自己的 DateTimeField(auto_now=True) ，以便每个对象都存储其最后修改时间。然后，也许有一种机制可以将数据从一个数据库转储并将其加载到另一个数据库中，以便仅保留最近修改的对象。

我正在考虑的可能性是 django 的 dumpdata、django-extensions dumpscript、django-test-utils makefixture 或者 django-fixture magic。有很多事情需要考虑，所以我不确定该走哪条路。

Answer 1

这是我的解决方案，它符合我的所有要求：

1. 在所有模型上实施自然键和唯一约束
   • 允许以独特的方式引用每个对象，而无需使用主键 ID
2. 在 django-extensions 中 从TimeStampedModel子类化每个模型
   • 添加自动更新created和modified字段

3. 创建用于导出的 Django 管理命令，该命令过滤数据子集并使用自然键将其序列化

   baz = Baz.objects.filter(foo=bar)
   yaz = Yaz.objects.filter(foo=bar)
   
   objects = [baz, yaz]
   flat_objects = list(itertools.chain.from_iterable(objects))
   
   data = serializers.serialize("json", flat_objects, indent=3, use_natural_keys=True)
   print(data)
   

4. 创建用于导入的 Django 管理命令，该命令读取序列化文件并迭代对象，如下所示：

   • 如果数据库中不存在该对象（通过自然键），则创建它
   • 如果对象存在，检查modified时间戳
   • 如果导入的对象较新，则更新字段
   • 如果导入的对象较旧，则不更新（但打印警告）

代码示例：

# Open the file
with open(args[0]) as data_file:
    json_str = data_file.read()

# Deserialize and iterate
for obj in serializers.deserialize("json", json_str, indent=3, use_natural_keys=True):

    # Get model info
    model_class = obj.object.__class__
    natural_key = obj.object.natural_key()
    manager = model_class._default_manager

    # Delete PK value
    obj.object.pk = None

    try:
        # Get the existing object
        existing_obj = model_class.objects.get_by_natural_key(*natural_key)

        # Check the timestamps
        date_existing = existing_obj.modified
        date_imported = obj.object.modified
        if date_imported > date_existing:

            # Update fields
            for field in obj.object._meta.fields:
                if field.editable and not field.primary_key:
                    imported_val = getattr(obj.object, field.name)
                    existing_val = getattr(existing_obj, field.name)
                    if existing_val != imported_val:
                        setattr(existing_obj, field.name, imported_val)

    except ObjectDoesNotExist:
        obj.save()

其工作流程是首先调用python manage.py exportTool > data.json，然后在另一个 django 实例（或相同实例）上调用python manage.py importTool data.json。