我在我的集​​群node.js/socket.io/redis pub/sub应用程序中收到重复的消息

Question

我正在使用Node.js,Socket.io和Redisstore,来自Socket.io的人群和Redis.

我有一个pub/sub应用程序,它只适用于一个Node.js节点.但是,当它承受重负载时,由于Node.js不是为多核机器编写的,因此只占服务器的一个核心.

正如您在下面看到的,我现在正在使用Learnboost中的Cluster模块,与制作Socket.io的人一样.

但是,当我启动4个工作进程时,每个进入和订阅的浏览器客户端都会获得Redis中发布的每条消息的4个副本.如果有三个工作进程,则有三个副本.

我猜我需要以某种方式将redis pub/sub功能移动到cluster.js文件中.

Cluster.js

var cluster = require('./node_modules/cluster');

cluster('./app')
  .set('workers', 4)
  .use(cluster.logger('logs'))
  .use(cluster.stats())
  .use(cluster.pidfiles('pids'))
  .use(cluster.cli())
  .use(cluster.repl(8888))
  .listen(8000);

App.js

redis = require('redis'),
sys = require('sys');

var rc = redis.createClient();

var path = require('path')
  , connect = require('connect')
  , app = connect.createServer(connect.static(path.join(__dirname, '../')));

// require the new redis store
var sio = require('socket.io')
  , RedisStore = sio.RedisStore
  , io = sio.listen(app);

io.set('store', new RedisStore);io.sockets.on('connection', function(socket) {
    sys.log('ShowControl -- Socket connected: ' + socket.id);

    socket.on('channel', function(ch) {
        socket.join(ch)
        sys.log('ShowControl -- ' + socket.id + ' joined channel: ' + ch);
    });

    socket.on('disconnect', function() {
        console.log('ShowControll -- Socket disconnected: ' + socket.id);
    });
});

rc.psubscribe('showcontrol_*');

rc.on('pmessage', function(pat, ch, msg) {
    io.sockets.in(ch).emit('show_event', msg);
    sys.log('ShowControl -- Publish sent to channel: ' + ch);
});

// cluster compatiblity
if (!module.parent) {
  app.listen(process.argv[2] || 8081);
  console.log('Listening on ', app.address());
} else {
  module.exports = app;
}

client.html

<script src="http://localhost:8000/socket.io/socket.io.js"></script>
<script src="https://ajax.googleapis.com/ajax/libs/jquery/1.7.0/jquery.min.js"></script>
<script>
    var socket = io.connect('localhost:8000');
    socket.emit('channel', 'showcontrol_106');
    socket.on('show_event', function (msg) {
        console.log(msg);
        $("body").append('<br/>' + msg);
    });
</script>

Answer 1

事实证明这不是 Node.js/Socket.io 的问题，我只是以完全错误的方式处理它。

我不仅从 Node/Socket 堆栈外部发布到 Redis 服务器，而且仍然直接订阅 Redis 频道。在 pub/sub 情况的两端，我绕过了“后端带有 Redis 存储的 Socket.io 集群”的好处。

因此，我创建了一个小应用程序（使用 Node.js/Socket.io/Express），它从我的 Rails 应用程序获取消息，并使用 socket.io-announce 模块将它们“宣布”到 Socket.io 房间。现在，通过使用 Socket.io 路由魔法，每个节点工作人员只能获取消息并将消息发送到直接连接到它们的浏览器。换句话说，由于 pub 和 sub 都发生在 Node.js/Socket.io 堆栈中，因此不再有重复消息。

清理完代码后，我会将示例放在 github 上的某个地方。