我的任务是创建一个基本的ETL应用程序。我们有一个远程位置,每个月将csv文件拖放到一个远程文件中。250MBs。
该应用程序将导入csv->应用业务逻辑(如果需要)->插入到SQLServer表中。
我一直在考虑使用Kafka。不过,我还很陌生,无法找到将在将csv文件导入到Kafka中时会读取的连接器。我在github上看到了一些项目,但它们似乎已过时,并且在UnsupportedOperationExceptions的整个过程中都遇到了错误
任何人都可以指出正确的方向吗?我现在正在考虑使用confluent_kafka编写连接器