Django,Haystack,Solr,MongoDB架构决策

Question

我正在构建一个日志查看实用程序,它将处理TB日志中的实时搜索.我决定将日志存储在Solr中并将其用作搜索引擎.我将在项目中使用Django作为框架.为了使用Solr和Django,我看到有干草堆.现在我的架构将是这样的.

             Store  Index         Search             Show
Log Stream ----------------> Solr --------> Haystack ------> Django

我的日志是普通的Linux服务器日志,如网络,操作,错误等.Syslog正在发送日志.我将允许基于所有日志行进行过滤.我将允许按列排序,例如:ip列,日期列等.

示例日志:

Dec 11 13:24:03 2012 [firewall] R0 SRC=192.168.9.11 DST=192.168.11.29 LEN=83 TOS=0x00 PREC=0x00 TTL=64 ID=0 DF PROTO=UDP SPT=36904 DPT=161 LEN=63 

我想问一下,使用MongoDB作为存储,过滤和搜索日志会更好,Solr会做得更好.Elasticsearch也在我脑海中浮现.在这种情况下你会选择什么？

提前致谢.

Answer 1

为什么要重新发明轮子？Logstash具有令人惊叹的界面：Kibana。您可以使用 rsyslog 来提供它。但是，如果您确实想要/需要重新实现日志服务器，Logstash 使用ElasticSearch。我会同意的。