相关疑难解决方法(0)

在Spark Streaming中合并两个流

你可以通过以下问题把我推向正确的方向吗?(即使链接到包含所需信息的文档也会受到赞赏.)

是否有能力将多个数据流合并到元组流中.

例如,我们有一个带有元素(A1,t1),(A2,t2),...(An,tn)的流A和带有元素(B1,t1'),(B2,t2'),...的流B, (Bn,tn').

其中t是值的时间(值实际上是时间序列).

我想接收带有值的流C.

(A1",B1","t1"),...,("an","Bn","tn")

来自流A和B的时间可能不同(这就是我使用'和'的原因).度量可以在不同的时间和不同的速率下消耗.在这种情况下,必须在合并流时采用具有最新所需时间戳的值.

merge stream apache-spark

5
推荐指数
1
解决办法
2769
查看次数

标签 统计

apache-spark ×1

merge ×1

stream ×1