bha*_*ele 3 apache-kafka apache-kafka-connect
我需要代表一组刚刚公开REST API的懒惰消费者来使用消息.因此,我计划让Sink连接器从Kafka主题中获取消息,并对公开的API执行HTTP POST操作.
需要考虑的关键因素之一是限制.您建议使用什么机制来限制Sink Tasks以满足API的层SLA.我知道Kafka有客户端配额功能,但是,跟踪API请求/ min或sec的最佳机制是什么,这将允许动态调整客户端配额？
我认为实现REST API速率限制的最佳方法是在您的连接器代码中通过阻止(如果有必要)SinkTask.put().您可能想要考虑在您的SinkTasks 级别上的速率限制是否足够,或者您需要它是全局的(自协调以来更复杂).
您正在考虑使用Kafka配额的优点是分布式方面是为您处理的,但我相信那些目前只能根据传输的字节进行配置.
| 归档时间： |
|
| 查看次数： |
2014 次 |
| 最近记录： |