如何在填充专用卷时处理Elasticsearch数据

Question

我在k8s集群上创建EFK堆栈.我正在使用这里描述的EFK舵图.这创建了两个PVC:一个用于es-master,一个用于es-data.

假设我为每个PVC分配了50 Gi.当这些最终填满时,我希望的行为是让新数据开始覆盖旧数据.然后我希望将旧数据存储到例如s3存储桶中.如何配置Elasticsearch来执行此操作？

Answer 1

一个可以帮助您做到这一点的简单工具是Elasticsearch Curator:https: //www.elastic.co/guide/en/elasticsearch/client/curator/5.5/actions.html

你可以用它来:

1. 按大小/时间滚动保存数据的索引.这将导致每个PVC根据时间保持少量指数.
2. 快照滚动索引以在S3中备份
3. 根据日期删除旧索引 - 删除最旧的索引,以释放新索引的空间.

策展人可以帮助你做所有这些.