Hal*_*rst 0 twitter tweepy python-3.x
我正在使用 Tweepy 的 Stream Listener 并希望检索有关英国当前政治辩论的推文。不幸的是,在 RT 和回复的情况下,我只会收到截断的推文。
如:-
RT @ZaidJilani:Chuck Schumer(antiBDS 法案的发起人)说我们应该扼杀加沙。Jeremy Corbyn 说压迫他们会……
当全文应该是:-
查克舒默(antiBDS 法案的发起人)说我们应该扼杀加沙。Jeremy Corbyn 说压迫他们只会使人们变得激进。
我已经看到有一种方法可以将 `tweet_mode=extended 与常规 Twitter.API 一起使用。但是我找不到与 Streaming API 类似的东西。有没有人解决这个问题?我的代码如下:-
from tweepy import Stream
from tweepy import OAuthHandler
from tweepy.streaming import StreamListener
from redis import Redis
from rq import Queue
import requests
import time
import io
import os
import json
import threading
import multiprocessing
from datetime import datetime, timedelta
import _credentials
# twitter OAuth
ckey = _credentials.ckey
consumer_secret = _credentials.consumer_secret
access_token_key = _credentials.access_token_key
access_token_secret = _credentials.access_token_secret
#Listener Class Override
class listener(StreamListener):
def __init__(self, start_time, time_limit):
self.time = start_time
self.limit= time_limit
self.tweet_data = []
def on_data(self, data):
localtime = datetime.now().strftime("%Y-%b-%d--%H-%M-%S")
print(localtime)
while (time.time() - self.time) < self.limit:
try:
self.tweet_data.append(data)
return True
except BaseException:
print ('failed ondata')
time.sleep(5)
pass
saveFile = io.open(('raw_tweets_{}.json').format(localtime), 'w', encoding='utf-8')
saveFile.write(u'[\n')
saveFile.write(','.join(self.tweet_data))
saveFile.write(u'\n]')
saveFile.close()
exit()
def on_error(self, status):
print (status)
def on_disconnect(self, notice):
print ('bye')
#Beginning of the specific code
keyword_list = ['Theresa May', 'Jeremy Corbyn', 'GE2017', 'Labour', 'Tory','Tories'] #track list
start_time=time.time()
auth = OAuthHandler(ckey, consumer_secret) #OAuth object
auth.set_access_token(access_token_key, access_token_secret)
twitterStream = Stream(auth, listener(start_time, time_limit=10)) #initialize Stream object with a time out limit
twitterStream.filter(track=keyword_list, languages=['en']) #call the filter method to run the Stream Listener
Run Code Online (Sandbox Code Playgroud)
更新:似乎添加了对 tweet_mode = 'extended' 的支持。
self.stream = Stream(auth = auth, listener = self, tweet_mode= 'extended')
tweet_data = json.loads(data)
if "extended_tweet" in tweet_data:
tweet = tweet_data['extended_tweet']['full_text']
Run Code Online (Sandbox Code Playgroud)
附注。请原谅格式、拼写错误等。我是堆栈溢出的新手,只是希望帮助其他人面临这个问题。
| 归档时间: |
|
| 查看次数: |
2983 次 |
| 最近记录: |