如何使用trec_eval评估搜索/检索引擎？

Question

有没有使用TREC_EVAL的机构？我需要一个"Trec_EVAL for dummies".

我正在尝试评估一些搜索引擎来比较Recall-Precision,排名质量等参数,以便我的论文工作.我找不到如何使用TREC_EVAL向搜索引擎发送查询并获取可与TREC_EVAL一起使用的结果文件.

Answer 1

基本上,对于trec_eval,你需要一个(人类生成的)基础事实.必须采用特殊格式:

query-number 0 document-id relevance

给定像101Categories(维基百科条目)这样的集合

Q1046   0   PNGImages/dolphin/image_0041.png    0
Q1046   0   PNGImages/airplanes/image_0671.png  128
Q1046   0   PNGImages/crab/image_0048.png   0

因此,查询号识别查询(例如,来自特定类别的图片以找到类似的图片).然后,您的搜索引擎的结果将转换为外观

query-number    Q0  document-id rank    score   Exp

或者在现实中

Q1046   0   PNGImages/airplanes/image_0671.png  1   1   srfiletop10
Q1046   0   PNGImages/airplanes/image_0489.png  2   0.974935    srfiletop10
Q1046   0   PNGImages/airplanes/image_0686.png  3   0.974023    srfiletop10

作为描述在这里.您可能必须调整"document-id"的路径名.然后,您可以计算标准指标trec_eval groundtrouth.qrel results. trec_eval --help应该给你一些想法,以选择正确的参数来使用你的论文所需的测量.

trec_eval不发送任何疑问,你必须自己准备.trec_eval只做分析给出了一个基础的麻烦和你的结果.

一些基本信息可以在这里和这里找到.