我正在与kafka一起工作,并且一直被要求对发送给Kafka的消息进行验证,但是我不喜欢我认为这就是为什么我希望有人对此提供建议的解决方案。
我们有许多生产者不在我们的控制范围之内,因此他们可以发送任何格式的任何消息,并且我们最多可以发送8000万条记录,并且应在2小时内完成处理。有人要求我:
验证格式(Json,因为它必须与mongoDB兼容)。
验证发送的某些字段。
重命名一些字段
最后两个请求将使用存储在MongoDB中的参数来完成。所有这些工作都应假设我们不是唯一一个制造消费者的公司,因此应该对我们的服务进行“简单”调用以进行此验证。有任何想法吗?
apache-kafka ×1