如何使用apache avro SchemaBuilder更新现有的avro架构？

Question

我正在测试一个新的模式注册表,它加载和检索不同类型的avro模式.在测试过程中,我需要创建一堆不同类型的avro架构.由于它涉及很多排列,我决定以编程方式创建模式.我正在使用apache avro SchemaBuilder这样做.

我使用以下方法创建了avro:

Schema oldSchema = SchemaBuilder
      .record("abc")
      .aliases("records")
      .fields()
      .name("field_null")
      .type("null")
      .noDefault()
      .endRecord();

这很有效.创建的avro看起来像:

{
 "type" : "record",
 "name" : "abc",
 "fields" : [ {
   "name" : "field_null",
   "type" : "null"
  } ],
  "aliases" : [ "records" ]
}

现在我想使用apache avro库创建一个新版本的模式,如:

{
 "type" : "record",
 "name" : "abc",
 "fields" : [ {
   "name" : "field_null",
   "type" : "null"
  },
  {
   "name" : "new_field",
   "type" : "int",
   "default" : 10
  }
 ],
 "aliases" : [ "records" ]
}

为此,我试过:

Schema.Field field = new Schema.Field("new_field", SchemaBuilder.builder().intType(),
    "NewField", 10);

List<Schema.Field> fields = new ArrayList<>();
fields.add(field);
fields.addAll(oldSchema.getFields());

Schema record = Schema.createRecord(oldSchema.getName(),
    "Changes",
    oldSchema.getNamespace(),
    false,
    fields);

我明白了:

org.apache.avro.AvroRuntimeException: Field already used: field_null type:NULL pos:0

at org.apache.avro.Schema$RecordSchema.setFields(Schema.java:647)
at org.apache.avro.Schema$RecordSchema.<init>(Schema.java:618)
at org.apache.avro.Schema.createRecord(Schema.java:167)

我的问题是:

1. 如何使用现有库添加新版本的架构？
2. 我应该使用avro schemaBuilder来创建架构,还是创建自己的POJO来构建架构/将avsc文件保存在数据目录中.

Answer 1

你可以尝试这个来创建字段，也许它很笨拙：

Schema.Field field = new Schema.Field("new_field",SchemaBuilder.builder().intType(),
    "NewField", 10);

List<Schema.Field> fields = new ArrayList<>();

for (Schema.Field f : oldSchema.getFields()) {

   Schema.Field _field = new Schema.Field(f.name(), f.schema(), f.doc(), f.defaultValue());
  fields.add(_field);

}