如何判断语义搜索引擎的准确性？

Question

我的表弟创建了一个语义搜索引擎，他声称他的搜索引擎是最准确的。

我见过很多语义搜索引擎，它们对我来说看起来都一样，因为它们的设计目的不是根据您输入的关键字为您提供结果。

那么如果你正在创建一个语义搜索引擎，如何确定其结果的准确性呢？

Answer 1

事实上，萨诺德的建议并不离谱。

您通常会做的是让一大群人尝试一堆标准查询。或者，如果您想让实验更加公平，您可以让每个用户选择自己的查询，以避免任何偏见指控（因为您可以选择您知道您的引擎擅长回答的标准查询）。

对于每个查询，用户将查看前 10 个左右的结果，并说明他们是否认为每个结果相关（您可能希望让用户按比例评分，而不仅仅是是/否）。

然后，对于每个查询，您可以计算准确度分数，具体取决于您设置实验的方式。精确度和召回率可能是最合适的衡量标准，尽管这些依赖于已知的预期答案，而您可能不一定有。计算简单的百分比精度可能更简单、更合适。

要确定您的搜索引擎是否比竞争对手更好，您需要让相同的人在这些搜索引擎上执行相同的查询，并以相同的方式评分。完成此操作后，您可以计算搜索引擎的分数并将其与您自己的分数进行比较。