我们目前在所有 DC 上使用 Nxlog,并将该数据发送到中央 syslog-ng 服务器。由于处理每台计算机上的代理以及需要仅支持读取事件查看器的附加代理,我们正在讨论使用 WEF 将所有 DC 日志转发到几台服务器,以便我们处理的代理更少。理论上这听起来不错,但是当我开始阅读它时,我没有看到任何 HA 或集群的能力。我可能会在前端使用负载平衡和循环将事件喷射到后端的 5 个左右的服务器,但不确定这是否会按照我想要的方式工作。
有没有人有在相当大的环境中使用 WEF 的经验?我们每天收到大约 2 亿个 Windows 事件日志,需要提高日志记录级别。此外,我们需要日志尽可能接近实时,因此在这种规模下,有没有人遇到过 DC 转发日志或收集器接收它们的延迟的性能问题?
感谢您的帮助和投入。
我有 2 个 ES 服务器,它们由 1 个 logstash 服务器提供并在 Kibana 中查看日志。这是一个 POC,可以在投入生产之前解决任何问题。系统已经运行了大约 1 个月,每隔几天,Kibana 就会在半夜的某个随机时间停止显示日志。昨晚,我在 Kibana 收到的最后一条日志条目是 18:30 左右。当我检查 ES 服务器时,它显示主服务器正在运行,而辅助服务器未运行(来自 /sbin/service elasticsearch 状态),但我能够在本地主机上执行 curl 并返回信息。所以不确定这是怎么回事。无论如何,当我在主节点上做一个状态时,我得到了这个:
curl -XGET 'http://localhost:9200/_cluster/health?pretty=true'
{
"cluster_name" : "gis-elasticsearch",
"status" : "red",
"timed_out" : false,
"number_of_nodes" : 6,
"number_of_data_nodes" : 2,
"active_primary_shards" : 186,
"active_shards" : 194,
"relocating_shards" : 0,
"initializing_shards" : 7,
"unassigned_shards" : 249
}
Run Code Online (Sandbox Code Playgroud)
当我查看索引时,通过“ls ...nodes/0/indeces/”它显示今天由于某种原因正在修改所有索引并且今天的日期有新文件。所以我想我开始追赶我重新启动了两台服务器,但不确定为什么它首先失败了。当我查看 master 上的日志时,我只在 18:57 看到 4 个警告错误,然后第二个离开集群。我没有在辅助 (Pistol) 上看到任何关于它停止工作的原因或真正发生了什么的日志。
[2014-03-06 18:57:04,121][WARN ][transport ] [ElasticSearch Server1] Transport response handler …Run Code Online (Sandbox Code Playgroud) 我一直在为 Scientific Linux 安装编写 kickstart 脚本。我的目标是创建一个 CD ISO,以便有人可以轻松地在服务器上安装它。我已经能够用它做相当多的事情,但我仍然遇到一些需要帮助的问题。
任何帮助或指示将不胜感激。
######################################################
## Custom Kickstart Script
######################################################
######################################################
## Include another kickstart script
######################################################
%include sl62-livecd-gnome.ks
######################################################
## Basic Settings
######################################################
cdrom
install
autopart
autostep
xconfig --startxonboot
rootpw testpassword
lang en_US.UTF-8
keyboard us
timezone --utc America/New_York
auth --useshadow --enablemd5
selinux --disabled
services --enabled=iptables,rsyslog,sshd,ntpd,NetworkManager,network --disabled=sendmail,cups,firstboot,ip6tables
clearpart --all
######################################################
## Repos
######################################################
repo …Run Code Online (Sandbox Code Playgroud)