即使数据正在传输，雪花流也变得陈旧

Question

我在 Snowflake 中设置了一些流和消耗这些流的任务，有时我需要重新创建它们，因为它们已经过时了。我已阅读文档，我的帐户中没有任何内容导致该问题。任务每 5 分钟运行一次，每分钟都有数据流过。任务脚本获取流中的数据并使用MERGE语句。有时，流变得陈旧，然后任务开始失败。

我该如何防止这种情况？

Answer 1

我发现我们有一些像::int剧本一样的直接选角。一段时间后，开发人员开始发送 JSON 数据中的字符串。该流包含封装在begin..commit. 该任务并未显示脚本失败，但实际上，DML 语句已回滚，因此流并未清除。最终，由于数据未在默认时间范围内清除，它们变得陈旧。我们将任何更改x::int为try_to_number(x::string)并且这有效。