卡夫卡和 IIDR CDC

Question

我正在尝试使用 DB2--IBM CDC --Kafka构建 CDC 管道 ，并且我正在尝试找出设置此管道的正确方法。我尝试了以下事情 -

1.在Linux on Prem上设置3节点kafka集群

2.使用文件在Linux on prem上安装IIDR CDC软件setup-iidr-11.4.0.1-5085-linux-x86.bin。CDC 实例已启动并正在运行。

各种在线文档建议安装“IIDR 管理控制台”来配置源数据存储和 CDC 服务器配置以及 Kafka 订阅配置来构建管道。

目前我没有安装管理控制台。对此有几个问题 -

1.除了 IBM CDC 管理控制台之外，还有其他替代方案来设置 kafka-CDC 管道吗？

2.如何获取IIDR管理控制台？如果我们将它安装在本地 Windows 桌面上并尝试连接到远程 Linux 服务器上的 CDC/Kafka，它会工作吗？

3.还有其他方法可以将 IIDR CDC 数据摄取到 Kafka 吗？

我对 CDC/ IIDR 还很陌生，请帮忙！

Answer 1

I own the development of the IIDR Kafka target for our CDC Replication product.

Management Console is the best way to setup the subscription initially. You can install it on a windows box.

Technically I believe you can use our scripting language called CHCCLP to setup a subscription as well. But I recommend using the GUI.

Here are links to our resources on our IIDR (CDC) Kafka Target. Search for the "Kafka" section.

"https://www.ibm.com/developerworks/community/wikis/home?lang=en#!/wiki/W8d78486eafb9_4a06_a482_7e7962f5ac59/page/IIDR%20Wiki"

An example of setting up a subscription and replicating is this video

https://ibm.box.com/s/ur8jokg6tclsx5fcav5g86a3n57mqtd5

Management console and access server can be obtained from IBM fix central.

I have installed MC/Access server on my VM and on my personal windows box to use it against my linux VMs. You will need connectivity of course.

You can definitely follow up with our Support and they'll be able to sort you out. Plus we have docs in our knowledge centre on MC starting here.... https://www.ibm.com/support/knowledgecenter/en/SSTRGZ_11.4.0/com.ibm.cdcdoc.mcadminguide.doc/concepts/overview_of_cdc.html

You'll find our Kafka target is very flexible it comes with five different formats to write data into Kafka, and you can choose to capture data in an audit format, or the Kafka compaction compatible key, null for a delete method.

此外，您甚至可以使用该产品通过单个插入操作以多种格式将多条记录写入多个不同主题。如果您的某些消费者应用程序需要 JSON，而其他应用程序需要 Avro 二进制文件，那么这非常有用。此外，您可以使用它将所有数据放入更安全的主题，并仅将部分数据写入更多人可以访问的主题。

我们甚至有客户在复制时对飞行中的列进行加密。

最后，即使您选择仅使用一个生产者来写出数据，产品的转换也可以并行化。

实际上最后，我们还提供了使用特殊消费者的选项，该消费者为写入 Kafka 的数据生成数据库 ACID 语义，并跨主题和分区进行粉碎。它重新排序。我们称之为交易一致的消费者。它提供操作顺序、用于重新启动应用程序的书签，并允许性能并行，但有序、一次性、重复数据删除的数据消耗。

来自我在卡夫卡峰会上的演讲......

https://www.confluence.io/kafka-summit-sf18/a-solution-for-leveraging-kafka-to-provide-end-to-end-acid-transactions