使用spaCy删除标点符号; AttribueError

Question

目前我正在使用以下代码使用spaCy对一些文本数据进行lematize和计算TF-IDF值:

lemma = []

for doc in nlp.pipe(df['col'].astype('unicode').values, batch_size=9844,
                        n_threads=3):
    if doc.is_parsed:
        lemma.append([n.lemma_ for n in doc if not n.lemma_.is_punct | n.lemma_ != "-PRON-"])
    else:
        lemma.append(None)

df['lemma_col'] = lemma

vect = sklearn.feature_extraction.text.TfidfVectorizer()
lemmas = df['lemma_col'].apply(lambda x: ' '.join(x))
vect = sklearn.feature_extraction.text.TfidfVectorizer()
features = vect.fit_transform(lemmas)

feature_names = vect.get_feature_names()
dense = features.todense()
denselist = dense.tolist()

df = pd.DataFrame(denselist, columns=feature_names)
df = pd.DataFrame(denselist, columns=feature_names)
lemmas = pd.concat([lemmas, df])
df= pd.concat([df, lemmas])

我需要删除专有名词,标点符号和停止单词,但在我当前的代码中执行此操作时遇到一些麻烦.我已经阅读了一些文档和其他资源,但现在遇到了错误:

---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-21-e924639f7822> in <module>()
      7     if doc.is_parsed:
      8         tokens.append([n.text for n in doc])
----> 9         lemma.append([n.lemma_ for n in doc if not n.lemma_.is_punct or n.lemma_ != "-PRON-"])
     10         pos.append([n.pos_ for n in doc])
     11     else:

<ipython-input-21-e924639f7822> in <listcomp>(.0)
      7     if doc.is_parsed:
      8         tokens.append([n.text for n in doc])
----> 9         lemma.append([n.lemma_ for n in doc if not n.lemma_.is_punct or n.lemma_ != "-PRON-"])
     10         pos.append([n.pos_ for n in doc])
     11     else:

AttributeError: 'str' object has no attribute 'is_punct'

是否有更简单的方法从文本中删除这些东西,而不必彻底改变我的方法？

可以使用完整的代码在这里.

Answer 1

从我所看到的,你的主要问题实际上非常简单:n.lemma_返回一个字符串,而不是一个Token对象.所以它没有is_punct属性.我认为你在这里寻找的是n.is_punct(令牌是否是标点符号).

如果您想更优雅地做到这一点,请查看spaCy的新自定义处理管道组件(需要v2.0 +).这使您可以将逻辑包装在一个函数中,该函数在您调用nlp()文本时自动运行.你甚至可以借此一步,和添加自定义属性到你的Doc-例如,doc._.my_stripped_doc或者doc._.pd_columns什么的.这里的优势在于您可以继续使用spaCy的高性能内置数据结构(如Doc(及其视图Token和Span))作为应用程序的"单一事实来源".这样,不会丢失任何信息,并且您将始终保留对原始文档的引用 - 这对于调试也非常有用.