用于扩展推文的 Tweepy 流侦听器

Hal*_*rst 0 twitter tweepy python-3.x

我正在使用 Tweepy 的 Stream Listener 并希望检索有关英国当前政治辩论的推文。不幸的是,在 RT 和回复的情况下,我只会收到截断的推文。

如:-

RT @ZaidJilani:Chuck Schumer(antiBDS 法案的发起人)说我们应该扼杀加沙。Jeremy Corbyn 说压迫他们会……

当全文应该是:-

查克舒默(antiBDS 法案的发起人)说我们应该扼杀加沙。Jeremy Corbyn 说压迫他们只会使人们变得激进。

我已经看到有一种方法可以将 `tweet_mode=extended 与常规 Twitter.API 一起使用。但是我找不到与 Streaming API 类似的东西。有没有人解决这个问题?我的代码如下:-

 from tweepy import Stream
 from tweepy import OAuthHandler
 from tweepy.streaming import StreamListener
 from redis import Redis
 from rq import Queue
 import requests
 import time
 import io
 import os
 import json
 import threading
 import multiprocessing
 from datetime import datetime, timedelta
 import _credentials

 # twitter OAuth
 ckey = _credentials.ckey
 consumer_secret = _credentials.consumer_secret
 access_token_key = _credentials.access_token_key
 access_token_secret = _credentials.access_token_secret



 #Listener Class Override
 class listener(StreamListener):

def __init__(self, start_time, time_limit):
    self.time = start_time
    self.limit= time_limit
    self.tweet_data = []



def on_data(self, data):
    localtime = datetime.now().strftime("%Y-%b-%d--%H-%M-%S")
    print(localtime)

    while (time.time() - self.time) < self.limit:
        try:
            self.tweet_data.append(data)
            return True

        except BaseException:
            print ('failed ondata')
            time.sleep(5)
            pass
    saveFile = io.open(('raw_tweets_{}.json').format(localtime), 'w', encoding='utf-8')
    saveFile.write(u'[\n')
    saveFile.write(','.join(self.tweet_data))
    saveFile.write(u'\n]')
    saveFile.close()
    exit()



def on_error(self, status):

    print (status)

def on_disconnect(self, notice):

    print ('bye')




 #Beginning of the specific code
 keyword_list = ['Theresa May', 'Jeremy Corbyn', 'GE2017', 'Labour', 'Tory','Tories'] #track list

 start_time=time.time()
 auth = OAuthHandler(ckey, consumer_secret) #OAuth object
 auth.set_access_token(access_token_key, access_token_secret)
 twitterStream = Stream(auth, listener(start_time, time_limit=10)) #initialize           Stream object with a time out limit
 twitterStream.filter(track=keyword_list, languages=['en'])  #call the filter method to run the Stream Listener
Run Code Online (Sandbox Code Playgroud)

Jos*_*ndo 5

更新:似乎添加了对 tweet_mode = 'extended' 的支持。

self.stream = Stream(auth = auth, listener = self, tweet_mode= 'extended')
tweet_data = json.loads(data)
if "extended_tweet" in tweet_data:
    tweet = tweet_data['extended_tweet']['full_text']
Run Code Online (Sandbox Code Playgroud)

附注。请原谅格式、拼写错误等。我是堆栈溢出的新手,只是希望帮助其他人面临这个问题。