为什么需要Redis,AMQP或0MQ以及弹性搜索和logstash？
Nar*_*esh 1 logging indexer redis elasticsearch logstash
我是初学者Elastic Search和logStash.经过n号文件仍然无法弄清楚.为什么在logshipping和索引组件之间需要一个代理.我们不能直接发送日志Elastic Search并开始索引吗？ 
小智 6
消息队列
消息队列的作用是作为网守,并保护解析器不会因过多的日志消息而过载.这完全取决于解析器在一秒钟内可以处理的最大事件数,当此速率变得过高时,日志解析器将丢弃事件并导致数据丢失.为防止出现这种情况,必须使用消息队列.
拉动与推动
当您从日志传送器直接向日志解析器发送日志消息时,您基本上会推送消息,并希望解析器可以处理将这些事件推送到它的速率.当您选择使用消息队列时,您允许日志解析器以其可以处理的速率提取消息.当速率过高且解析器无法提取所有消息时,它们将累积在您的消息队列中,一旦速率变低,解析器将提取这些消息并清除队列.消息队列是防止中央日志记录解决方案临时高负载的最佳保护.
数据库危机
在极少数情况下,您的数据库服务器将崩溃,在此期间,解析器将没有可用的目标将其解析的日志消息发送到.从输入端,解析器将从日志发送器接收越来越多的消息,并将开始丢弃它们.在这种情况下,在此期间生成的所有日志消息都将消失.消息队列是解决这种情况的一个很好的解决方案,它将允许解析器停止拉动事件并让它们在消息队列中累积.一旦恢复到数据库的会话,解析器将提取所有事件并将其发送到数据库.解析和编写如此大的队列可能需要一些时间,但最终您将完全访问生成的日志数据,并且不会丢失任何数据.
一层安全
在某些情况下,您的日志文件可能分散在数据中心外部的不同服务器之间,您可能希望它们将数据发送到集中式日志记录解决方案.通过使用消息队列,您将能够保持数据安全,将其加密并限制对消息队列服务器上单个端口的入站访问.考虑集中式日志记录解决方案的安全性方面非常重要,特别是在涉及分布式服务器环境时.
| 归档时间： |
|
| 查看次数： |
783 次 |
| 最近记录： |