Splunk数据库

Question

据我所知,Splunk不需要MySQL数据库提供的大量功能,并且对大数据进行索引和执行搜索,使用关系数据库可能不是一个好选择.

Splunk是否使用Lucene作为搜索引擎,还是让他们制作了磁盘数据格式？

如果我提出问题的方式有任何问题,我很抱歉.这是我关于Stack Overflow的第一个问题.

Answer 1

Splunk使用自己的搜索引擎，它不基于任何第三方。

它的搜索引擎仅基于文件，而没有数据库。它不存储字段，而仅存储原始数据。这些字段是在搜索期间提取的，因此非常动态。在数据中查找关键字（干草堆中的针）也非常快。

1. 将数据分为基于时间的事件，为每个原始事件附加时间。
2. 标记事件中找到的每个单词及其在索引中的位置
3. 以压缩格式存储事件（tar.gz）

更详细地说，Splunk以以下方式存储数据：

1. 快速搜索事件内的关键字
2. 查看原始原始数据
3. 在原始数据上创建新字段，并将其与统计信息命令一起使用。

来源：http : //www.splunk.com/web_assets/pdfs/secure/Splunk_for_BigData.pdf http://docs.splunk.com/Documentation/Splunk/6.5.1/Indexer/Howindexingworks

+3年经验的Splunk架构师。

Answer 2

谷歌搜索会有所帮助:http://answers.splunk.com/answers/43533/search-capabilities-of-splunk-how-powerful-is-it-really - > No Lucene