Kafka Connect实施错误

Question

我在这里运行教程:http://kafka.apache.org/documentation.html#introduction

当我进入"步骤7:使用Kafka Connect导入/导出数据"并尝试启动两个连接器时,我收到以下错误:

ERROR Failed to flush WorkerSourceTask{id=local-file-source-0}, timed out while waiting for producer to flush outstanding messages, 1 left

ERROR Failed to commit offsets for WorkerSourceTask

以下是教程的一部分:

接下来,我们将启动以独立模式运行的两个连接器,这意味着它们在单个本地专用进程中运行.我们提供三个配置文件作为参数.第一个始终是Kafka Connect流程的配置,包含常见配置,例如要连接的Kafka代理和数据的序列化格式.其余配置文件均指定要创建的连接器.这些文件包括唯一的连接器名称,要实例化的连接器类以及连接器所需的任何其他配置. bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties

我花了一些时间寻找解决方案,但无法找到任何有用的东西.任何帮助表示赞赏.

谢谢!

Answer 1

我收到此错误的原因是因为我使用config/server.properties创建的第一台服务器未运行.我假设因为它是主题的主角,消息无法刷新,并且无法提交偏移.

一旦我使用服务器属性启动kafka服务器(config/server.properties)此问题已得到解决.