ton*_*ian 6 python avro avro-tools
假设你有这个 AVDL 作为一个简化的例子:
@namespace("example.avro")
protocol User {
record Man {
int age;
}
record Woman {
int age;
}
record User {
union {
Man,
Woman
} user_info;
}
}
Run Code Online (Sandbox Code Playgroud)
在 python 中,您无法正确序列化声明类型的对象,因为不允许使用以下语法:
{"user_info": {"Woman": {"age": 18}}}
Run Code Online (Sandbox Code Playgroud)
唯一被序列化的对象是
{"user_info": {"age": 18}}
Run Code Online (Sandbox Code Playgroud)
丢失所有类型信息并且DatumWriter通常选择匹配字段集的第一条记录,在本例中为 a Man。
使用 Java API 时,上述问题非常有效。
那么,我在这里做错了什么?序列化和反序列化在 Python 的 Avro 实现中是否可能不是幂等的?
小智 4
您是对的,标准 avro 库无法指定在这种情况下使用哪个模式。然而,fastavro(替代实现)确实有办法做到这一点。在该实现中,可以将记录指定为元组,其中第一个值是模式名称,第二个值是实际记录数据。记录看起来像这样:
{"user_info": ("Woman", {"age": 18})}
这是示例脚本:
from io import BytesIO
from fastavro import writer
schema = {
"type": "record",
"name": "User",
"fields": [{
"name": "user_info",
"type": [
{
"type": "record",
"name": "Man",
"fields": [{
"name": "age",
"type": "int"
}]
},
{
"type": "record",
"name": "Woman",
"fields": [{
"name": "age",
"type": "int"
}]
}
]
}]
}
records = [{"user_info": ("Woman", {"age": 18})}]
bio = BytesIO()
writer(bio, schema, records)
Run Code Online (Sandbox Code Playgroud)