Kafka Source Connector 的 max.tasks 的理想配置设置

Question

我正在尝试运行 HDFS 源连接器和 FileStream 源连接器。我想知道如果我们设置tasks.max> 1，它会如何工作。确保正确处理并行性不是连接器的工作吗？

例如，如果有超过 1 个任务访问文件，对于 FileStream Source Connector 来说不会有问题吗？连接器如何知道哪个任务正在读取哪一行以及如何确保任务之间不存在冲突？

或者

是否应该tasks.max=1针对可能发生此类问题的连接器进行设置？

Answer 1

不存在这样的问题，因为根据文档：

tasks.max-应为此连接器创建的最大任务数。如果连接器无法实现这种并行级别，它可能会创建更少的任务。

例如， forFile Stream Source Connector max.tasks是简单的忽略，而 forJDBC Source Connector任务的实际数量被定义为表计数的最小值。tasks.max