标签: lucene

Elasticsearch 使用太多磁盘空间

我有一台安装了Elasticsearch 1.3.2CentOS 6.5服务器。

我的elasticsearch.yml配置文件是对默认使用 elasticsearch 的配置文件的最小修改。删除所有注释行后,它看起来像:

cluster.name: xxx-kibana

node:
    name: "xxx"
    master: true
    data: true

index.number_of_shards: 5

index.number_of_replicas: 1

path:
    logs: /log/elasticsearch/log
    data: /log/elasticsearch/data


transport.tcp.port: 9300

http.port: 9200

discovery.zen.ping.multicast.enabled: false
Run Code Online (Sandbox Code Playgroud)

默认情况下,Elasticsearch 应该启用压缩,我阅读了各种基准测试,压缩率从低至 50% 到高达 95%。不幸的是,在我的情况下,压缩率是 -400%,或者换句话说:用 ES 存储的数据比具有相同内容的文本文件占用的磁盘空间多 4 倍。看:

12K     logstash-2014.10.07/2/translog
16K     logstash-2014.10.07/2/_state
116M    logstash-2014.10.07/2/index
116M    logstash-2014.10.07/2
12K     logstash-2014.10.07/4/translog
16K     logstash-2014.10.07/4/_state
127M    logstash-2014.10.07/4/index
127M    logstash-2014.10.07/4
12K     logstash-2014.10.07/0/translog
16K     logstash-2014.10.07/0/_state
109M    logstash-2014.10.07/0/index
109M    logstash-2014.10.07/0
16K     logstash-2014.10.07/_state
12K     logstash-2014.10.07/1/translog
16K …
Run Code Online (Sandbox Code Playgroud)

disk-space-utilization lucene elasticsearch

13
推荐指数
1
解决办法
4万
查看次数

lucene 索引的最佳文件系统(由 Amazon EBS 卷使用)是什么?

我想创建一个 ebs 卷(Amazon EC2 云计算)来存储我的 lucene 索引。

最好使用的文件系统是什么(使用命令 mkfs -t 时?)?我知道 xfs 经常用于 mysql 但它是 lucene 索引的情况吗?

谢谢。

filesystems amazon-ec2 amazon-ebs lucene

6
推荐指数
1
解决办法
3698
查看次数

弹性搜索日志的目的是什么?如何管理它们?

据我了解索引(或数据)被存储在

/var/lib/elasticsearch
Run Code Online (Sandbox Code Playgroud)

默认情况下,该文件夹中包含nodes01文件夹和这些文件夹的总体规模376M

日志被存储在

/var/log/elasticsearch

-rw-r--r-- 1 elasticsearch elasticsearch 1.4G Dec 17 23:59 elasticsearch.log.2014-12-17
-rw-r--r-- 1 elasticsearch elasticsearch 1.5G Dec 18 19:35 elasticsearch.log.2014-12-18
-rw-r--r-- 1 elasticsearch elasticsearch 383M Dec 19 20:11 elasticsearch.log.2014-12-19
-rw-r--r-- 1 elasticsearch elasticsearch 7.2G Dec 30 23:59 elasticsearch.log.2014-12-30
-rw-r--r-- 1 elasticsearch elasticsearch 9.1G Jan  1 23:59 elasticsearch.log.2015-01-01
-rw-r--r-- 1 elasticsearch elasticsearch  29G Jan  2 23:59 elasticsearch.log.2015-01-02
-rw-r--r-- 1 elasticsearch elasticsearch 928K Jan  3 23:59 elasticsearch.log.2015-01-03
-rw-r--r-- 1 elasticsearch elasticsearch …
Run Code Online (Sandbox Code Playgroud)

ubuntu logging disk-space-utilization lucene elasticsearch

4
推荐指数
2
解决办法
6876
查看次数