如何摆脱 Kafka 中的负面消费者滞后

Hos*_*abi 9 jmx apache-kafka apache-kafka-connect

最近,我监控我的集群,发现消费者有负面的滞后

在此输入图像描述

这种负延迟会影响集群上的接收器连接器,我在Kafka-Connect上收到此错误:

Mar 25 15:56:30 Master1 connect-distributed[14530]: [2020-03-25 15:56:30,910] WARN WorkerSinkTask{id=hdfs-1} Ignoring invalid task provided offset mongodb.db.collection-1/OffsetAndMetadata{offset=84, leaderEpoch=null, metadata=''} -- not yet consumed, taskOffset=84 currentOffset=7 (org.apache.kafka.connect.runtime.WorkerSinkTask:417)

Run Code Online (Sandbox Code Playgroud)