我想知道这是否可能,或者是否有人尝试将 Apache Kafka 设置为 PostgreSQL 逻辑日志流的使用者?这还有道理吗?
https://wiki.postgresql.org/wiki/Logical_Log_Streaming_Replication
我有一个遗留源系统,我需要用它来制作实时仪表板。由于某些原因,我无法挂钩应用程序事件(顺便说一句,它是java应用程序)。相反,我正在考虑某种 lambda 架构:当仪表板初始化时,它从持久数据“数据仓库”中读取,该数据在经过一些 ETL 后到达那里。然后,不断变化的事件通过 Kafka 传输到仪表板。
存储在 Kafka 中的事件的另一个用途是一种用于数据仓库填充的变更数据捕获方法。这是必要的,因为没有支持 postgesql 的商业 CDC 工具。源应用程序正在更新表而不保留历史记录。
postgresql ×1