Ste*_*cco 2 apache-kafka kafka-producer-api apache-kafka-connect
我的任务是创建一个基本的ETL应用程序。我们有一个远程位置,每个月将csv文件拖放到一个远程文件中。250MBs。
该应用程序将导入csv->应用业务逻辑(如果需要)->插入到SQLServer表中。
我一直在考虑使用Kafka。不过,我还很陌生,无法找到将在将csv文件导入到Kafka中时会读取的连接器。我在github上看到了一些项目,但它们似乎已过时,并且在UnsupportedOperationExceptions的整个过程中都遇到了错误
任何人都可以指出正确的方向吗?我现在正在考虑使用confluent_kafka编写连接器
如果您想使用Kafka(并且您的需求中不清楚您是否需要),那么kafka-connect-spooldir是满足您需求的良好连接器。本文显示了安装程序及其使用示例。
免责声明:我为Confluent工作,并且写了这篇文章:)
归档时间: |
|
查看次数: |
5129 次 |
最近记录: |