Seb*_*oek 5 java spring apache-kafka spring-boot
我有一个Spring Boot应用程序,它需要处理一些Kafka流数据。我向CommandLineRunner将在启动时运行的类添加了无限循环。那里有一个可以唤醒的卡夫卡消费者。我添加了一个关闭钩子Runtime.getRuntime().addShutdownHook(new Thread(consumer::wakeup));。我会遇到任何问题吗?在春季,有没有更惯用的方法?我应该@Scheduled改用吗?下面的代码删除了特定的Kafka实现内容,但另有说明。
import org.apache.kafka.clients.consumer.Consumer;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.errors.WakeupException;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.boot.CommandLineRunner;
import org.springframework.stereotype.Component;
import java.time.Duration;
import java.util.Properties;
@Component
public class InfiniteLoopStarter implements CommandLineRunner {
private final Logger logger = LoggerFactory.getLogger(this.getClass());
@Override
public void run(String... args) {
Consumer<AccountKey, Account> consumer = new KafkaConsumer<>(new Properties());
Runtime.getRuntime().addShutdownHook(new Thread(consumer::wakeup));
try {
while (true) {
ConsumerRecords<AccountKey, Account> records = consumer.poll(Duration.ofSeconds(10L));
//process records
}
} catch (WakeupException e) {
logger.info("Consumer woken up for exiting.");
} finally {
consumer.close();
logger.info("Closed consumer, exiting.");
}
}
}
Run Code Online (Sandbox Code Playgroud)
我不确定你是否会遇到任何问题,但它有点肮脏 - Spring 对于与 Kafka 一起工作有非常好的内置支持,所以我倾向于这一点(网上有很多关于这方面的文档,但是不错的是: https: //www.baeldung.com/spring-kafka)。
您将需要以下依赖项:
<dependency>
<groupId>org.springframework.kafka</groupId>
<artifactId>spring-kafka</artifactId>
<version>2.2.2.RELEASE</version>
</dependency>
Run Code Online (Sandbox Code Playgroud)
配置就像将@EnableKafka注释添加到配置类然后设置 Listener 和 ConsumerFactory beans 一样简单
配置完成后,您可以轻松设置消费者,如下所示:
@KafkaListener(topics = "topicName")
public void listenWithHeaders(
@Payload String message,
@Header(KafkaHeaders.RECEIVED_PARTITION_ID) int partition) {
System.out.println("Received Message: " + message"+ "from partition: " + partition);
}
Run Code Online (Sandbox Code Playgroud)
| 归档时间: |
|
| 查看次数: |
376 次 |
| 最近记录: |