使用Apache kafka的Oracle复制数据

Question

我想从我的oracle数据库中公开数据表并公开到apache kafka.技术上可行吗？我还需要从我的oracle表中流式传输数据并将其通知给Kafka.你知道这个用例的好文档吗？谢谢

Answer 1

1. 您需要Kafka Connect JDBC源连接器来加载Oracle数据库中的数据.Confluent有一个开源捆绑连接器.它已经与Confluent Platform的其余部分打包和测试,包括模式注册表.使用此连接器就像编写简单的连接器配置和启动独立的Kafka Connect进程或向Kafka Connect集群发出REST请求一样简单.可以在此处找到此连接器的文档

2. 要将变更数据从Oracle事务数据库实时移动到Kafka,您需要首先使用变更数据捕获(CDC)专有工具,该工具需要购买商业许可证,例如Oracle的Golden Gate,Attunity Replicate,Dbvisit Replicate或Striim.然后,您可以利用它们提供的Kafka Connect连接器.它们都列在这里

3. 来自Redhat的开源CDC工具Debezium计划开发一种不依赖Oracle Golden Gate许可证的连接器.相关的JIRA就在这里.

Answer 2

您可以使用Kafka Connect将数据导入/导出到 Kafka。使用 Kafka Connect 非常简单，因为不需要编写代码。您只需要配置您的连接器。

如果没有可用的连接器并且您想提供自己的连接器，则只需编写代码。已有 50 多个连接器可用。

Confluence Inc 有一个适用于 Oracle 的连接器（“Golden Gate”）：https://www.confluence.io/product/connectors/