是否可以使用Kibana(最好是闪亮的新版本4 beta)来执行应用程序端连接？
我知道ES/Kibana不是为了取代关系数据库而构建的,通常更好的做法是对数据进行非规范化.然而,在这个用例中,这不是最好的方法,因为索引大小正在爆炸并且性能正在下降:
我正在索引数十亿个包含网络流的会话信息的文档,如:source ip,source port,destination ip,destination port,timestamp.
现在我也想收集每个IP地址的其他信息,如地理位置,ASN,反向DNS等将此信息添加到每一个会话文件,使整个数据库不可收拾:现在有成千上万的文件具有相同的IP地址和冗余向所有这些文档添加相同的附加信息会导致巨大的膨胀和无响应的用户体验,即使在具有数百GB内存的集群上也是如此.
相反,我想创建一个单独的索引,其中只包含唯一的IP地址和我收集到的每个元数据的元数据.
问题是:我怎样才能使用kibana分析我的数据？对于查询返回的每个文档,kibana应该在ip-index中执行查找,并使用此信息"虚拟地丰富"每个ip地址.像添加虚拟字段的东西,所以结构看起来像这样(在运行中):
source ip,source port,source country,source asn,source fqdn
我知道这会以多次查询为代价.
我有一台服务器运行Ubuntu 14.04,220 GB的内存,我想运行elasticsearch.根据文档,一个节点不应该有超过32 GB的RAM,所以我想我必须在这台机器上运行几个节点才能使用所有RAM.我正在考虑为每个节点运行4个节点,内存为28 GB.
如何将其设置为ubuntu服务,以便所有节点在系统重启后自动恢复,例如？我想我必须以某种方式编辑/etc/init.d/elasticsearch - 任何人都可以帮助我吗？
非常感谢你们!