将弹性搜索限制设置为"无限制"

Question

如何从弹性搜索中获得所有结果,因为结果仅显示限制为10.我有一个像这样的查询:

@data = Athlete.search :load => true do
          size 15
          query do
            boolean do
              must { string q, {:fields => ["name", "other_names", "nickname", "short_name"], :phrase_slop => 5} }
              unless conditions.blank?
                conditions.each do |condition|
                  must { eval(condition) }
                end
              end
              unless excludes.blank?
                excludes.each do |exclude|
                  must_not { eval(exclude) }
                end
              end
            end
          end
          sort do
            by '_score', "desc"
          end
        end

我已将限制设置为15,但我不想让它无限制,以便我可以获得所有数据,我无法设置限制,因为我的数据不断变化,我想获得所有数据.

Answer 1

您可以使用from和size参数来浏览所有数据.这可能会非常慢,具体取决于您的数据以及索引中的数据.

http://www.elastic.co/guide/en/elasticsearch/reference/current/search-request-from-size.html

Answer 2

另一种方法是首先执行a searchType: 'count',然后使用sizeset to 进行常规搜索results.count.

这里的优点是它可以避免依赖UPPER_BOUND于这个类似SO问题中建议的幻数,并避免构建Shay Banon 在此描述的过大优先级队列的额外开销.它还可以让您保持结果排序,不像scan.

最大的缺点是它需要两个请求.根据您的情况,这可能是可以接受的.

Answer 3

从文档中,"请注意,from + size不能超过index.max_result_window默认为10,000 的索引设置".所以,我非常承认临时解决方法就是通过size: 10000或10,000减从,如果我使用from的说法.

请注意,按照下面的Matt评论,如果您有大量文档,正确的方法是使用滚动API.我成功地使用了这个,但只使用了python接口.

Answer 4

使用扫描方法,例如

 curl -XGET 'localhost:9200/_search?search_type=scan&scroll=10m&size=50' -d '
 {
    "query" : {
       "match_all" : {}
     }
 }

看到这里