小编avi*_*ner的帖子

从 Cassandra 读取数据以在 Flink 中进行处理

我必须使用 Flink 作为流引擎处理来自 Kafka 的数据流。为了对数据进行分析,我需要查询 Cassandra 中的一些表。做这个的最好方式是什么?我一直在寻找 Scala 中此类情况的示例。但我找不到任何信息。如何使用 Scala 作为编程语言在 Flink 中读取 Cassandra 的数据? Read & write data into cassandra using apache flink Java API在同一行上还有另一个问题。它有答案中提到的多种方法。我想知道针对我的情况最好的方法是什么。此外,大多数可用示例都是用 Java 编写的。我正在寻找 Scala 示例。

scala cassandra apache-flink

5
推荐指数
1
解决办法
4186
查看次数

Flink 中键控流中的记录排序

我有一个流,其中记录按顺序到达。我应用了一个 map 函数,然后在它上面应用了 keyBy 函数。记录的顺序是否会在每个具有相同键的记录流中保持?

Ordering of Records in Stream 中有一个类似的问题。但是我在那里给出的答案和从链接“ https://ci.apache.org/projects/flink/flink-docs-release-1.2/concepts/programming-model.html ”复制的以下描述之间感到困惑。

" 在重新分配交换中,元素之间的排序仅保留在每对发送和接收子任务中(例如,map() 的子任务 [1] 和 keyBy/window 的子任务 [2])。所以在这个例子中,保留每个键内的排序,但并行性确实引入了关于不同键的聚合结果到达接收器的顺序的不确定性。”

在给出的示例中,keyBy 的子任务 [2] 接收来自 map 的子任务 [1] 和子任务 [2] 的元素。如果仅在子任务之间维护排序,如何保留每个键内的排序?

apache-flink flink-streaming

2
推荐指数
1
解决办法
819
查看次数

标签 统计

apache-flink ×2

cassandra ×1

flink-streaming ×1

scala ×1