卡夫卡CSV连接器

Ste*_*cco 2 apache-kafka kafka-producer-api apache-kafka-connect

我的任务是创建一个基本的ETL应用程序。我们有一个远程位置,每个月将csv文件拖放到一个远程文件中。250MBs。

该应用程序将导入csv->应用业务逻辑(如果需要)->插入到SQLServer表中。

我一直在考虑使用Kafka。不过,我还很陌生,无法找到将在将csv文件导入到Kafka中时会读取的连接器。我在github上看到了一些项目,但它们似乎已过时,并且在UnsupportedOperationExceptions的整个过程中都遇到了错误

任何人都可以指出正确的方向吗?我现在正在考虑使用confluent_kafka编写连接器

Rob*_*att 5

如果您想使用Kafka(并且您的需求中不清楚您是否需要),那么kafka-connect-spooldir是满足您需求的良好连接器。本文显示了安装程序及其使用示例。

免责声明:我为Confluent工作,并且写了这篇文章:)