小编Rob*_*Zag的帖子

Snowflake 连接器（和其他工具）很好地覆盖了 Kafka => Snowflake 路径。如果将数据移向另一个方向呢？

有人使用过带有 Snowflake 的通用 JDBC 源 Kafka 连接器吗？

总体思路是让一些 Snowflake 表的内容在 Kafka 中可用。一种以足够大的间隔（例如一小时/一天）运行的更改数据捕获/快照。

有什么经验可以分享吗？还有其他想法吗？

背景：我们使用 Cassandra 来存储一些时间序列数据，我们使用准备好的语句来访问数据。

我们通过以下方式对表中的数据进行分区：

• 时间段（如一周或一个月）和
• 保留政策（如 1 年、5 年或 10 年）

拥有不同的表，我们需要为查询、时间段和保留策略的每种组合准备（仅在使用时）不同的语句，因此准备好的语句数量将激增。一些数学：

timePeriods = 12..52 * yearsOfData
maxNumOfPrepStatements = timePeriods * policies * numOfQueries

ourCase => (20 * 10 y) * 10 p * 10 q = 20.000 prep statements

在客户端，我只能将最常用的 PS 保留在缓存中，但是我找不到从服务器中删除未使用的 PS 的方法，所以我担心拥有大约 20.000 个准备好的语句可能对每个节点来说都是一笔巨大的成本。

问题：这个数量的 PS 会不会对服务器造成任何问题？

这分为较小的问题：

• 这些准备好的语句的服务器端成本是多少？
• 服务器会保留所有PS 还是会删除较少使用的 PS？
• 有没有比重启 Cassandra 节点来清理 PS 缓存更好的解决方案？
• 使用 Java 客户端，关闭 Session/Cluster 对象会缓解这种情况（服务器端）吗？