用于 Oracle 数据库源的 Kafka 连接器

Lef*_*ros 5 cdc oracle11g apache-kafka oracle-cdc apache-kafka-connect

我想构建一个 Kafka 连接器,以便近乎实时地从数据库中检索记录。我的数据库是Oracle Database 11gEnterprise Edition Release 11.2.0.3.0,表中有数百万条记录。首先,我想使用 CDC 将最小负载添加到我的数据库中。其次,我想根据某个日期后具有值的 LastUpdate 字段检索记录。

在 confluent 站点搜索,我发现的唯一开源连接器是“Kafka Connect JDBC”. 我认为这个连接器没有 CDC 机制,并且在连接器第一次启动时无法检索数百万条记录。我认为的替代解决方案是 Debezium,但 Confluent 站点上没有 Debezium Oracle Connector,我相信它是测试版。

你会建议哪种解决方案?我对 Kafka Connect JDBC 或 Debezium Connector 的假设有什么问题吗?还有其他解决方案吗?

Gio*_*ous 4

对于效率较低的基于查询的 CDC,可以使用JDBC 源连接器


对于基于日志的 CDC,我知道有几个选项,但是其中一些需要许可证:

1) Attunity Replicate允许用户使用图形界面创建从生产者系统到 Apache Kafka 的实时数据管道,而无需进行任何手动编码或脚本编写。我已经使用 Attunity Replicate for Oracle -> Kafka 几年了,并且非常满意。

2)需要许可证的Oracle GoldenGate

3) Oracle Log Miner,不需要任何许可证,由 Attunity 和kafka-connect-oracle 使用,kafka-connect-oracle是 Kafka 源连接器,用于捕获来自 Oracle 的所有基于行的 DML 更改,并将这些更改流式传输到 Kafka。更改数据捕获逻辑基于Oracle LogMiner 解决方案。