小编Abh*_*hay的帖子

评估在 Spacy 中训练的 NER 模型的良好指标是什么

我有 3000 个手动标记的数据集,分为训练集和测试集 我已经使用 SpaCy 训练了 NER 模型,以提取 8 个自定义实体,如“ACTION”、HIRE-DATE、STATUS 等...为了评估我正在使用 SpaCy 的模型得分手。

输出中没有准确性指标,我不确定应该考虑哪个指标来决定模型性能是好还是坏?

有几种情况,精度较低,但召回率为 100,且 f1 也较低,例如:

'LOCATION': {'p': 7.142857142857142, 'r': 100.0, 'f': 13.333333333333334},
Run Code Online (Sandbox Code Playgroud)

在上述情况下,我们的结论应该是什么?

以下是记分器的完整结果,其中 p = 精度,r = 召回率和 f = F1 分数......它具有整体性能和实体明智性能。

{
'uas': 0.0,
 'las': 0.0,
 'ents_p': 86.40850417615793,
 'ents_r': 97.93459552495698,
 'ents_f': 91.81121419927389,
 'ents_per_type': {'ACTION': {'p': 97.17682020802377,
   'r': 97.61194029850746,
   'f': 97.3938942665674},
  'STATUS': {'p': 83.33333333333334,
   'r': 96.3855421686747,
   'f': 89.3854748603352},
  'PED': {'p': 98.61751152073732,
   'r': 99.53488372093024,
   'f': 99.07407407407408},
  'TERM-DATE': {'p': 83.52272727272727,
   'r': 98.65771812080537,
   'f': 90.46153846153847},
  'LOCATION': {'p': 7.142857142857142, 'r': …
Run Code Online (Sandbox Code Playgroud)

machine-learning named-entity-recognition spacy

4
推荐指数
1
解决办法
2217
查看次数