将Spacy Parser应用于具有多处理功能的Pandas DataFrame

Question

说我有一个数据集,比如

iris = pd.DataFrame(sns.load_dataset('iris'))

我可以使用Spacy和.apply将字符串列解析为标记(我的真实数据集当然每个条目有> 1个字/标记)

import spacy # (I have version 1.8.2)
nlp = spacy.load('en')
iris['species_parsed'] = iris['species'].apply(nlp)

结果:

   sepal_length   ... species    species_parsed
0           1.4   ... setosa          (setosa)
1           1.4   ... setosa          (setosa)
2           1.3   ... setosa          (setosa)

我还可以使用这个方便的多处理功能(感谢这篇博文)在数据帧上并行执行大多数任意应用函数:

from multiprocessing import Pool, cpu_count
def parallelize_dataframe(df, func, num_partitions):

    df_split = np.array_split(df, num_partitions)
    pool = Pool(num_partitions)
    df = pd.concat(pool.map(func, df_split))

    pool.close()
    pool.join()
    return df

例如:

def my_func(df):
    df['length_of_word'] = df['species'].apply(lambda x: len(x))
    return df

num_cores = cpu_count()
iris = parallelize_dataframe(iris, my_func, num_cores)

结果:

   sepal_length species  length_of_word
0           5.1  setosa               6
1           4.9  setosa               6
2           4.7  setosa               6

...但由于某种原因,我无法通过这种方式使用多处理将Spacy解析器应用于数据帧.

def add_parsed(df):
    df['species_parsed'] = df['species'].apply(nlp)
    return df

iris = parallelize_dataframe(iris, add_parsed, num_cores)

结果:

   sepal_length species  length_of_word species_parsed
0           5.1  setosa               6             ()
1           4.9  setosa               6             ()
2           4.7  setosa               6             ()

还有其他方法可以做到这一点吗？我喜欢Spacy的NLP,但我有很多文本数据,所以我想并行化一些处理函数,但遇到了这个问题.

Answer 1

Spacy经过高度优化,可为您进行多处理.因此,我认为最好的办法是将数据从Dataframe中取出,并将其作为列表传递给Spacy管道,而不是.apply直接尝试使用.

然后,您需要整理解析的结果,并将其放回到Dataframe中.

因此,在您的示例中,您可以使用以下内容:

tokens = []
lemma = []
pos = []

for doc in nlp.pipe(df['species'].astype('unicode').values, batch_size=50,
                        n_threads=3):
    if doc.is_parsed:
        tokens.append([n.text for n in doc])
        lemma.append([n.lemma_ for n in doc])
        pos.append([n.pos_ for n in doc])
    else:
        # We want to make sure that the lists of parsed results have the
        # same number of entries of the original Dataframe, so add some blanks in case the parse fails
        tokens.append(None)
        lemma.append(None)
        pos.append(None)

df['species_tokens'] = tokens
df['species_lemma'] = lemma
df['species_pos'] = pos

这种方法在小数据集上可以正常工作,但它会占用你的记忆,所以如果你想处理大量的文本,那就太好了.