小编sur*_*nde的帖子

Kafka Stream 与 Kafka Consumer 如何决定使用什么

我曾开发过一些 Kafka 流应用程序和 Kafka 消费者应用程序。最后,Kafka流只不过是消费者,它消费来自Kafka的实时事件。因此,我无法弄清楚何时使用 Kafka 流,或者为什么我们应该使用 Kafka 流,因为我们可以在消费者端执行所有转换。

我想了解 Kafka 流和 Kafka 消费者在实现方面的主要区别,以及如何决定在不同用例中应该使用什么。

预先感谢您的答复。

apache-kafka kafka-consumer-api apache-kafka-streams

6
推荐指数
2
解决办法
3124
查看次数

kafka jdbc接收器连接器中的批量大小

我想通过jdbc接收器批量读取5000条记录,为此我在jdbc接收器配置文件中使用了batch.size:

name=jdbc-sink
connector.class=io.confluent.connect.jdbc.JdbcSinkConnector
tasks.max=1
batch.size=5000
topics=postgres_users

connection.url=jdbc:postgresql://localhost:34771/postgres?user=foo&password=bar
file=test.sink.txt
auto.create=true
Run Code Online (Sandbox Code Playgroud)

但是,batch.size 不起作用,因为当新记录插入源数据库时,记录也会插入数据库。

如何实现批量插入5000个?

connector apache-kafka apache-kafka-connect confluent-platform

3
推荐指数
1
解决办法
7088
查看次数