saj*_*jal 8 scalability amazon-ec2 esper complex-event-processing
我一直在寻找Esper(和Storm)进行流处理.Esper似乎完全按照我想要的方式进行..即roling意味着,中位数,复杂查询等...但有一件事让我感到疑惑.
如何使用Esper扩展到多个实例？
据我所知,Storm处理分布式处理,但是使用Esper,你可以独立完成.
我不需要为可能的未来做到这一点,但随着我们的成长,我们的数据量也将需要扩展.我们很可能会部署在Amazon EC2中.
在将它们发送到我的Esper应用程序之前,我是否需要运行多个服务器和分片数据？
有更优雅的处理方式吗？
-Sajal
您可以在bolt中运行Esper实例,这意味着Storm将处理元组/事件联合,Esper将处理它在给定bolt中接收的事件的CEP.
这里有一些关于在一个Storm bolt中嵌入Esper的代码和信息:http: //tomdzk.wordpress.com/2011/09/28/storm-esper/
但是......您需要一个支持相对无状态Esper引擎处理数据子集的用例.
例如:您按城市计算每日平均温度.如果不使用基于城市字段的shuffleGrouping分发您的元组,则每个Esper螺栓可以为每个城市提供不同的数据集.
基本上,在提交到此体系结构之前,请务必了解数据在Storm拓扑中的分布情况.