是否有现有的批处理日志文件聚合解决方案？

Question

我希望从多个节点导出日志文件(在我的情况下是apache访问和错误日​​志)并批量聚合这些数据,作为预定作业.我已经看到了多种与流数据一起使用的解决方案(即思考抄写员).我想要一个工具,让我可以灵活地定义目的地.这个要求来自于我想使用HDFS作为目的地.

我无法找到批量支持它的工具.在重新创建轮子之前,我想向StackOverflow社区询问他们的输入.

如果已经存在于python中的解决方案会更好.

Answer 1

PiCloud可能会有所帮助。

PiCloud 平台让您可以自由地开发算法和软件，而无需将时间投入到配置、管理和维护服务器的所有管道中。