小编Coe*_*016的帖子

名称实体解析算法

我试图建立一个实体解决系统,我的实体在哪里,

(i) General named entities, that is organization, person, location,date, time, money, and percent.
(ii) Some other entities like, product, title of person like president,ceo, etc. 
(iii) Corefererred entities like, pronoun, determiner phrase,synonym, string match, demonstrative noun phrase, alias, apposition. 
Run Code Online (Sandbox Code Playgroud)

从各种文献和其他参考文献中,我已经定义了其范围,因为我不会考虑超出其实体类别的每个实体的歧义。也就是说,我将牛津大学的牛津与牛津所处的地方不同,因为前一个是组织实体的第一个单词,第二个是位置实体。

我的任务是构造一种解析算法,从中提取并解析实体。

因此,我首先要设计一个实体提取器。其次,如果我尝试像在这本开创性著作中从各种文献中找到的那样,将共指关系进行关联,他们将尝试制定基于决策树的算法,并具有一些功能,例如距离,i代词,j代词,字符串匹配,定名词短语,指示性名词短语,数字约定特征,语义类别约定,性别约定,专有名称,别名,并置等

该算法似乎是一种不错的算法,其中使用隐马尔可夫模型(HMM)提取实体。

我可以用HMM设计一个实体识别系统。现在,我正在尝试制定一个共同引用以及一个实体解决系统。如果要使用带注释的语料库并直接使用基于HMM的标记器对其进行训练,那么我试图感觉而不是使用太多功能,以解决诸如

*"Obama/PERS is/NA delivering/NA a/NA lecture/NA in/NA Washington/LOC, he/PPERS knew/NA it/NA was/NA going/NA to/NA be/NA
small/NA as/NA it/NA may/NA not/NA be/NA his/PoPERS speech/NA as/NA Mr. President/APPERS"

where, PERS-> PERSON
       PPERS->PERSONAL PRONOUN TO PERSON
       PoPERS-> …
Run Code Online (Sandbox Code Playgroud)

python algorithm nlp machine-learning

5
推荐指数
1
解决办法
3105
查看次数

如何在NLTK中使用CRF?

在像HMM标记器这样的NLTK中,似乎也有CRF标记器。但是我找不到任何教程或帮助。我该怎么办?

python nltk crf

4
推荐指数
1
解决办法
5419
查看次数

标签 统计

python ×2

algorithm ×1

crf ×1

machine-learning ×1

nlp ×1

nltk ×1