nodejs - 解析chunked twitter json

Question

nodejs服务器从Twitter获取此JSON流并将其发送到客户端:

stream.twitter.com/1/statuses/filter.json?track=gadget

返回给客户端的数据是"chunked"JSON,客户端的JSON.parse(chunk)和eval('('+ chunk +')')都会导致解析错误.连接被夹住的碎片并等待'结束'事件也不是解决方案

我注意到以前的样本在客户端使用了类似的东西,显然以前工作过:

  socket.onmessage = function(chunk) { 
  data = eval("(" + chunk.data + ")");
  alert(data.user.screen_name);

我在客户端使用它,它会导致解析错误:

var socket = new io.Socket();
    socket.on('message', function(chunk) { 
    var data = eval('(' + chunk + ')'); // parsing error
    alert(data.screen_name): 

我知道它成功返回了一个JSON块:

  var socket = new io.Socket();
        socket.on('message', function(chunk) {  
        alert(chunk): // shows a JSON chunk

服务器:

  response.on('data', function (chunk) {
    client.each(function(e) {
      e.send(chunk);  
  });  

做了什么改变或者我做错了什么？

更新: "结束"事件不会因为其流式传输而触发？

http.get({
  headers: { 'content-type': 'application/json' },
  host: 'stream.twitter.com',
  path: '/1/statuses/filter.json?track...
}, function(res) {

  res.setEncoding('utf8');
  res.on('data', function (chunk) {
    client.each(function(e) {
      e.send(chunk);  
  });  
 });

  // does not fire
  res.on('end', function () {

  });  

...

我正在研究与http 1.0和http 1.1的区别,就发送分块数据而言.

Answer 1

请查看Twitter文档中标题为Parsing Responses的部分.

解析来自Streaming API的JSON响应很简单,每个对象都在它自己的行上返回,并以回车结束.换行符(\n)可能出现在对象元素(例如状态对象的文本元素)中,但回车符(\ r)不应该出现.

在服务器端,继续累积块,直到看到回车符"\r".找到回车后,将字符串提取到回车符,这会给我们一条推文.

var message = ""; // variable that collects chunks
var tweetSeparator = "\r";

res.on('data', function(chunk) {
    message += chunk;

    var tweetSeparatorIndex = message.indexOf(tweetSeparator);
    var didFindTweet = tweetSeparatorIndex != -1;

    if (didFindTweet) {
        var tweet = message.slice(0, tweetSeparatorIndex);
        clients.forEach(function(client) {
            client.send(tweet);
        });
        message = message.slice(tweetSeparatorIndex + 1);
    }
});

客户变得简单.只需将套接字消息完整地解析为JSON即可.

socket.on('message', function(data) {
    var tweet = JSON.parse(data);
});