Dil*_*eam 2 apache-kafka kafka-consumer-api kafka-producer-api apache-kafka-connect confluent-platform
我在此链接中遵循步骤 #7（使用 Kafka Connect 导入/导出数据）：
http://kafka.apache.org/documentation.html#quickstart
它运行良好，直到我删除了“test.txt”文件。主要是因为这就是 log4j 文件的工作方式。一段时间后，文件将被旋转 - 我的意思是 - 它将被重命名，并且将开始写入具有相同名称的新文件。
但是之后，我删除了“test.txt”，连接器停止工作。我重新启动了连接器、代理、zookeeper 等，但是“test.txt”中的新行不会进入“connect-test”主题，因此不会进入“test.sink.txt”文件。
我怎样才能解决这个问题？
连接器保留其“从文件中读取的最后位置”的标签，因此万一它在读取文件时崩溃，它可以从中断的地方继续。
问题是您删除了文件而没有将偏移量重置为 0，因此它基本上看不到任何新数据，因为它等待新数据从头开始以特定字符数开始显示......
解决方法是否重置偏移量。如果您在独立模式下使用连接，默认情况下偏移量存储在 /tmp/connect.offsets 中，只需从那里删除它们。
从长远来看，我们需要一个更好的文件连接器:)
| 归档时间： |
|
| 查看次数： |
1532 次 |
| 最近记录： |