当属性匹配时,如何使用 Python 在 Avro 中序列化联合字段

ton*_*ian 6 python avro avro-tools

假设你有这个 AVDL 作为一个简化的例子:

@namespace("example.avro")
protocol User {
   record Man {
      int age;
   }

   record Woman {
      int age;
   }

   record User {
      union {
        Man,
        Woman
      } user_info;
   }
}
Run Code Online (Sandbox Code Playgroud)

在 python 中,您无法正确序列化声明类型的对象,因为不允许使用以下语法:

{"user_info": {"Woman": {"age": 18}}}
Run Code Online (Sandbox Code Playgroud)

唯一被序列化的对象是

{"user_info": {"age": 18}}
Run Code Online (Sandbox Code Playgroud)

丢失所有类型信息并且DatumWriter通常选择匹配字段集的第一条记录,在本例中为 a Man

使用 Java API 时,上述问题非常有效。

那么,我在这里做错了什么?序列化和反序列化在 Python 的 Avro 实现中是否可能不是幂等的?

小智 4

您是对的,标准 avro 库无法指定在这种情况下使用哪个模式。然而,fastavro(替代实现)确实有办法做到这一点。在该实现中,可以将记录指定为元组,其中第一个值是模式名称,第二个值是实际记录数据。记录看起来像这样:

{"user_info": ("Woman", {"age": 18})}

这是示例脚本:

from io import BytesIO
from fastavro import writer

schema = {
    "type": "record",
    "name": "User",
    "fields": [{
        "name": "user_info",
        "type": [
            {
                "type": "record",
                "name": "Man",
                "fields": [{
                    "name": "age",
                    "type": "int"
                }]
            },
            {
                "type": "record",
                "name": "Woman",
                "fields": [{
                    "name": "age",
                    "type": "int"
                }]
            }
        ]
    }]
}

records = [{"user_info": ("Woman", {"age": 18})}]

bio = BytesIO()
writer(bio, schema, records)
Run Code Online (Sandbox Code Playgroud)