标签: disruptor-pattern

配置破坏程序以使用包含固定大小字节数组的对象(如何使用Disruptor(Disruptor Pattern)来构建真实的消息系统？).在这种情况下,主线程必须在将消息发布到破坏程序之前将消息编码为字节数组,并且每个业务逻辑线程必须在接收时将字节数组解码回对象.这种设置的缺点是业务逻辑线程并不真正从破坏者共享内存 - 而是从破坏者提供的字节数组创建新对象(从而创建垃圾).这种设置的好处是所有业务逻辑线程都可以从同一个破坏者中读取多种不同类型的消息.
将破坏程序配置为使用单一类型的对象,但创建多个破坏程序,每个对象类型一个.在上面的例子中,将有两个单独的破坏程序 - 一个用于类型A的对象,另一个用于类型B的对象.此设置的优点是主线程不必将对象编码为字节数组并且business less逻辑线程可以共享与disruptor中使用的相同的对象(没有创建垃圾).这种设置的缺点是,不知何故,每个业务逻辑线程都必须订阅来自多个破坏者的消息.
配置破坏程序使用单一类型的"超级"对象,该对象包含消息A和B的所有字段.这非常违反OO样式,但允许在选项#1和#2之间进行折衷.
配置破坏程序以使用对象引用.但是,在这种情况下,我失去了对象预分配和内存排序的性能优势.

你对这种情况有什么建议？我认为选项#2是最干净的解决方案,但我不知道消费者是否或如何从技术上订阅来自多个破坏者的消息.如果有人可以提供如何实施选项#2的示例,那将非常感谢!

java performance messaging multithreading disruptor-pattern

Ben*_*old

2017 05-23

16
推荐指数

1
解决办法

2730
查看次数

LMAX的破坏者模式:是否有一个C++的端口？

有LMAX的Disruptor模式的开源Java和.NET版本,如视频LMAX中所述 - 如何在不到1ms的延迟时间内执行100K TPS.这里有更多关于Disruptor模式信息的链接.

是否有人知道C++ 的Disruptor模式的端口,是完成还是测试？

更新

显然其他人正在呼唤 Disruptor模式的C++版本.

c++ disruptor-pattern

Con*_*ngo

2017 05-23

15
推荐指数

1
解决办法

9046
查看次数

什么时候使用破坏者模式和当工作窃取本地存储？

以下是否正确？

该破坏者模式具有更好的并行性能和可扩展性,如果每个条目有多种方式(IO操作或注释)进行处理,因为可以使用多个消费者不争进行并行化.
相反,工作窃取(即在本地存储条目和从其他线程窃取条目)具有更好的并行性能和可伸缩性,如果每个条目必须仅以单一方式处理,因为在干扰模式中将条目不相交地分配到多个线程会导致争用.

(当涉及多个生产者(即CAS操作)时,破坏者模式是否仍然比其他无锁多生产者多消费者队列(例如来自提升)快得多？)

我的情况详细:

处理条目可以产生几个新条目,这些条目也必须最终处理.性能具有最高优先级,以FIFO顺序处理的条目具有第二优先级.

在当前实现中,每个线程使用本地FIFO,在其中添加新条目.空闲线程从其他线程的本地FIFO中窃取工作.线程处理之间的依赖关系使用无锁,机械同情的哈希表(写入时的CAS,具有桶粒度)来解决.这导致相当低的争用,但FIFO顺序有时会被破坏.

使用干扰模式可以保证FIFO顺序.但是不会将条目分配到线程上导致更高的争用(例如,读取游标上的CAS),而不是工作窃取的本地FIFO(每个线程的吞吐量大致相同)？

我发现的参考文献

关于破坏者的标准技术论文(第5章+6)中的性能测试不包括不相交的工作分布.

https://groups.google.com/forum/?fromgroups=#!topic/lmax-disruptor/tt3wQthBYd0是我在disruptor +偷窃工作中发现的唯一参考.它声明如果存在任何共享状态,每个线程的队列会显着减慢,但不会详细说明或解释原因.我怀疑这句话适用于我的情况:

使用无锁哈希表解析共享状态;
必须在消费者之间不相交地分发条目;
除了工作窃取之外,每个线程只在其本地队列中进行读写.

concurrency concurrent-programming disruptor-pattern work-stealing

Dav*_*Far

2013 03-11

11
推荐指数

1
解决办法

2267
查看次数

是什么导致这种性能下降？

我正在使用Disruptor框架对某些数据执行快速Reed-Solomon纠错.这是我的设置:

          RS Decoder 1
        /             \
Producer-     ...     - Consumer
        \             /
          RS Decoder 8

Run Code Online (Sandbox Code Playgroud)

生产者从磁盘读取2064字节的块到字节缓冲区.
8个RS解码器消费者并行执行Reed-Solomon纠错.
消费者将文件写入磁盘.

在disruptor DSL术语中,设置如下所示:

        RsFrameEventHandler[] rsWorkers = new RsFrameEventHandler[numRsWorkers];
        for (int i = 0; i < numRsWorkers; i++) {
            rsWorkers[i] = new RsFrameEventHandler(numRsWorkers, i);
        }
        disruptor.handleEventsWith(rsWorkers)
                .then(writerHandler);

Run Code Online (Sandbox Code Playgroud)

当我没有磁盘输出消费者(没有.then(writerHandler)部分)时,测量的吞吐量是80 M/s,一旦我添加消费者,即使它写入/dev/null,甚至不写,但它被声明为依赖消费者,性能下降到50-65 M/s.

我已经使用Oracle Mission Control对其进行了分析,这就是CPU使用率图表显示的内容:

没有额外的消费者: