使用 tweepy 获取独特的推文

Question

我正在尝试使用许多搜索词来获取推文语料库。我遇到的一个问题是它无法获得独特的推文。也就是转发。

有没有办法在不进行任何文本处理的情况下预先删除这些？

我现在有什么：

 api=tweepy.API(auth)
 for search in hashtags:
     for tweet in  tweepy.Cursor(api.search,q=search,count=1000,lang="en").items(): 
         text=repr(tweet.text.encode("utf-8"))  
         out.write(text+"\n")

Answer 1

您可以在查询中添加“-filter:retweets”以仅获取原始推文。也许不是最漂亮的解决方案，但它有效。

api=tweepy.API(auth)
for search in hashtags:
    for tweet in  tweepy.Cursor(api.search,q=search+" -filter:retweets",count=1000,lang="en").items(): 
        text=repr(tweet.text.encode("utf-8"))  
        out.write(text+"\n")