我曾开发过一些 Kafka 流应用程序和 Kafka 消费者应用程序。最后,Kafka流只不过是消费者,它消费来自Kafka的实时事件。因此,我无法弄清楚何时使用 Kafka 流,或者为什么我们应该使用 Kafka 流,因为我们可以在消费者端执行所有转换。
我想了解 Kafka 流和 Kafka 消费者在实现方面的主要区别,以及如何决定在不同用例中应该使用什么。
预先感谢您的答复。
我想通过jdbc接收器批量读取5000条记录,为此我在jdbc接收器配置文件中使用了batch.size:
name=jdbc-sink
connector.class=io.confluent.connect.jdbc.JdbcSinkConnector
tasks.max=1
batch.size=5000
topics=postgres_users
connection.url=jdbc:postgresql://localhost:34771/postgres?user=foo&password=bar
file=test.sink.txt
auto.create=true
Run Code Online (Sandbox Code Playgroud)
但是,batch.size 不起作用,因为当新记录插入源数据库时,记录也会插入数据库。
如何实现批量插入5000个?
connector apache-kafka apache-kafka-connect confluent-platform