记录Azure Event Hub中所有消息的最简单方法

Question

我正在使用一个输出到事件中心的服务.

我们希望存储该输出,每天由Apache Spark上运行的批处理作业读取一次.基本上我们认为,只需将所有消息转储到blob即可.

从事件中心捕获消息到Blob存储的最简单方法是什么？

我们的第一个想法是Streaming Analytics工作,但它需要解析原始消息(CSV/JSON/Avro),我们当前的格式都不是.

---

更新我们通过更改消息格式解决了这个问题.我还是想知道是否有任何影响blob存储消息的低影响方式.在Streaming Analytics到达之前,EventHub是否有解决方案？

Answer 1

您可以编写自己的工作进程来读取EventHub上的消息并将它们存储到blob存储中.您不需要实时执行此操作,因为EH上的消息将保留设置的保留天数.读取EH的客户端负责通过跟踪EH消息partitionid和offset来管理已处理的消息.有一个C#库使这非常容易,并且可以很好地扩展:https://azure.microsoft.com/en-us/documentation/articles/event-hubs-csharp-ephcs-getstarted/

Answer 2

您可以使用event-hubs-capture捕获到 Blob。