小编dme*_*ead的帖子

我正在使用Kafka Streams对Kafka主题进行并发工作.

该流具有以下形式

stream(topic)
 .map(somefunction)
 .through(secondtopic)

我已经设置KStreams了15个工作线程,但似乎线程之间的工作没有正确平衡(或根本没有).我的设置可能有问题吗？我期待工作将在工作线程中均匀分布,但似乎并非如此.

来自jvisualvm的快照

在Kafka Streams中,生成/编写流的规范方式是什么？在Spark中,有一个自定义接收器,它作为来自任意数据源的长时间运行的适配器.Kafka Streams中的等价物是什么？

具体来说,我不会问如何从一个主题转换到另一个主题.文档非常明确.我想了解如何编写我的工作人员,这些工作人员将在Kafka的一系列转换中首次编写.

我希望能够做到

builder1.<something>(<some intake worker like a spark reciver)
       .to(topic1)
       .start()

builder2.from(topic1)
        .transform(<some transformation function>)
        .to(topic2)
        .start()

但是现有的文档都没有显示出来吗？我错过了什么吗？