如何转换 Kafka Connect 中的多个字段？

Question

我正在使用 Kafka Connect Sink 配置从主题获取数据并将其保存到 Oracle 数据库。工作起来就像冠军一样，我正在对通过 Avro 模式作为 long 传入的时间戳列进行转换，然后转换为 Oracle Timestamp 列。

"transforms": "TimestampConverter",
"transforms.TimestampConverter.type": "org.apache.kafka.connect.transforms.TimestampConverter$Value",
"transforms.TimestampConverter.format": "mm/dd/yyyy HH:mm:ss",
"transforms.TimestampConverter.target.type": "Timestamp",
"transforms.TimestampConverter.field": "created_ts"

但是，我不知道如何在多个时间戳上执行此操作。也就是说，除了created_ts之外，我还有一个需要改造的updated_ts。

我试过这个：

"transforms.TimestampConverter.field": "created_ts, updated_ts"

不起作用，我也无法为其他字段重复整个块，因为 Connect 只允许 1 个同名条目。

最后，我尝试了这个：

"transforms.TimestampConverter.field.1": "created_ts",
"transforms.TimestampConverter.field.2": "updated_ts"

Answer 1

您将添加 2 个变换

"transforms": "CreatedConverter,UpdatedConverter",
"transforms.CreatedConverter.type": "org.apache.kafka.connect.transforms.TimestampConverter$Value"
"transforms.CreatedConverter.field": "created_ts",
...
"transforms.UpdatedConverter.type": "org.apache.kafka.connect.transforms.TimestampConverter$Value"
"transforms.UpdatedConverter.field": "updated_ts"
...