我正在尝试运行 HDFS 源连接器和 FileStream 源连接器。我想知道如果我们设置tasks.max> 1,它会如何工作。确保正确处理并行性不是连接器的工作吗?
tasks.max
例如,如果有超过 1 个任务访问文件,对于 FileStream Source Connector 来说不会有问题吗?连接器如何知道哪个任务正在读取哪一行以及如何确保任务之间不存在冲突?
或者
是否应该tasks.max=1针对可能发生此类问题的连接器进行设置?
tasks.max=1
apache-kafka apache-kafka-connect
apache-kafka ×1
apache-kafka-connect ×1