Wah*_*saw 6 nlp machine-learning
我读过一篇关于机器学习的论文,它包含一个Oracle实验来比较他的研究和另一项研究？但似乎没有那么清楚什么是Oracle实验？
dhg*_*dhg 25
"oracle"是一个虚构的实体,总能给出正确的答案.oracle实验用于比较您的实际系统与系统的行为方式,如果它的某些组件始终做正确的事情.
例如,在NLP域中,假设您构建了一个解析器,它将词性(POS)标记的句子作为输入.在现实世界中,您必须通过实际的POS标记器运行真实的句子.这个标记器可能会产生精度高于90%但低于100%的结果.由于解析器的准确性取决于传入标记的准确性,因此解析器的性能将受此损失的负面影响.
为了了解如果POS标记器完美,解析器的性能如何,您可以使用oracle标记器进行实验.在这个实验中,您将用一个知道句子实际POS标签的程序替换真正的POS标签,从而始终以100%的准确度返回标签结果.
因此,如果您的解析器在使用真实标记器的实验中获得85%的准确率,并且在使用oracle标记器的实验中获得90%,那么您知道5%的性能损失直接归因于标记器的错误.