如何在NLTK中对字符串句子进行标记？

Question

我正在使用nltk,所以我想创建自己的自定义文本,就像nltk.books上的默认文本一样.但是,我刚刚接受了这样的方法

my_text = ['This', 'is', 'my', 'text']

我想发现任何方式输入我的"文本":

my_text = "This is my text, this is a nice way to input text."

哪种方法,python或者nltk允许我这样做.更重要的是,我怎么能低估标点符号呢？

Answer 1

这实际上是在nltk.org的主页上:

>>> import nltk
>>> sentence = """At eight o'clock on Thursday morning
... Arthur didn't feel very good."""
>>> tokens = nltk.word_tokenize(sentence)
>>> tokens
['At', 'eight', "o'clock", 'on', 'Thursday', 'morning',
'Arthur', 'did', "n't", 'feel', 'very', 'good', '.']