Sam*_*ngh 0 python sockets json tweepy pyspark
我尝试使用以下代码通过 tweepy API 检索推文,但检索到的 json 字典有错误。
代码:
import tweepy
from tweepy import OAuthHandler
from tweepy import Stream
import socket
import json
consumer_key="****"
consumer_secret="****"
access_token="****"
access_secret="****"
class TweetListener(Stream):
def __init__(self, *args, csocket):
super().__init__(*args)
self.client_socket = csocket
def on_data(self, data):
try:
msg = json.loads(data)
print(msg('text').encode('utf=8'))
self.client_socket.send(msg('text').encode('utf=8'))
return True
except BaseException as e:
print('Error %s'%str(e))
return True
def on_error(self, status):
print(status)
return True
def send_data(c_socket):
twtr_stream = TweetListener(
consumer_key, consumer_secret,
access_token, access_secret,
csocket=c_socket
)
twtr_stream.filter(track=['ETH'])
s = socket.socket()
host = "127.0.0.1"
port = 5000
s.bind((host,port))
print("Active port %s"%str(port))
s.listen(5)
c, addr = s.accept()
print("request from addr "+str(addr))
send_data(c)
Run Code Online (Sandbox Code Playgroud)
send_data(c)导致错误:
Error 'dict' object is not callable
不断重复。
我有另一个与之关联的文件,这两个代码都需要同时运行。
代码:
from pyspark import SparkContext
from pyspark.streaming import StreamingContext
sc = SparkContext(appName='StreamingTwitterAnalysis')
sc.setLogLevel("ERROR")
ssc = StreamingContext(sc,10)
socket_stream = ssc.socketTextStream("127.0.0.1",5000)
lines = socket_stream.window(20)
hashtags = lines.flatMap(lambda text: text.split(" ")).filter(lambda word: word.lower().startwith("#")).map(lambda word: (word.lower(),1)).reduceByKey(lambda a,b:a+b)
dstream = hashtags.transform(lambda foo: foo.sortBy(lambda x:x[0].lower()).sortBy(lambda x:x[1].ascending==False))
dstream.pprint()
ssc.start()
ssc.awaitTermination()
Run Code Online (Sandbox Code Playgroud)
在行号中。在您上传到Pastebin 的代码的第 17 部分中,您加载了一个 JSON 对象msg,该对象可能是dict:
msg = json.loads(data)
Run Code Online (Sandbox Code Playgroud)
在行号中。18 然后使用字符串参数调用该对象:
print(msg('text').encode('utf=8'))
Run Code Online (Sandbox Code Playgroud)
由于dicts 不可调用,因此您会收到上述错误。所以我假设您想通过该名称访问密钥:
print(msg['text'].encode('utf=8'))
Run Code Online (Sandbox Code Playgroud)
| 归档时间: |
|
| 查看次数: |
271 次 |
| 最近记录: |