ric*_*dpj 6 elasticsearch elasticsearch-percolate
使用elasticsearch过滤器索引时,有没有办法提高内存性能？
我为我的过滤器创建了一个单独的索引.我有大约1 000 000个用户创建的已保存搜索(用于电子邮件警报).创建此过滤器索引后,我的堆使用率达到100%,服务器对任何查询都没有响应.我的资源有限,我不能简单地在这个问题上投入更多内存.唯一的解决方案是删除包含我保存的搜索的索引.
根据我的阅读,过滤器索引永久驻留在内存中.这完全是必要的吗？有没有办法限制这种行为,但仍保留功能？有没有办法优化我的数据/查询/索引结构,以避免这种行为,同时仍然实现所需的结果？
从 ElasticSearch 的角度来看，这个问题没有解决方案，也不可能有解决方案。我直接与 ElasticSearch 人员交谈，他们的答案是：“投入更多硬件”。
然而，我找到了一种方法来解决这个问题，减少我对该功能的使用。当我分析保存的搜索数据时，我发现我的搜索包含大约 100 000 个唯一关键字搜索以及创建超过 1 000 000 个保存搜索的各种过滤器排列。
如果我看一下过滤器，它们是这样的：
给出解空间：
100 000 * >300 * >50 * ... ~= > 1 500 000 000
但是，如果我要分解搜索并在渗滤器索引中单独索引关键字搜索和过滤器，那么最终的搜索量会少得多：
100 000 + >300 + >50 + ... ~= > 100 350
这些搜索本身比原始搜索更小、更简单。
现在，我创建第二个（非 Percolator）索引，列出所有 1 000 000 个已保存的搜索，并包括来自 Percolator 索引的搜索组件的 ID。
然后我过滤文档，然后执行第二个查询，根据关键字过滤搜索并过滤过滤器结果。我什至能够保留相关性分数，因为这纯粹是从关键字搜索返回的。
这种方法将显着减少我的渗透器索引内存占用，同时达到相同的目的。
我想邀请对此方法的反馈（我还没有尝试过，但我会随时通知您）。
同样，如果我的方法成功，您认为值得提出功能请求吗？
| 归档时间： |
|
| 查看次数： |
442 次 |
| 最近记录： |