Pun*_*thi 5 apache-kafka apache-spark spark-streaming kafka-consumer-api pyspark
我可能需要和卡夫卡一起工作,我对它很陌生.我知道有些Kafka制作人会将日志(在Kafka中称为事件或消息或记录)发布到Kafka主题.
我需要通过消费者阅读卡夫卡主题.我是否需要首先设置消费者API然后我可以使用SparkStreaming Context(PySpark)进行流式传输,或者我可以直接使用KafkaUtils模块来读取kafka主题？
如果我需要设置Kafka消费者应用程序,我该怎么做？请您分享正确文档的链接.
提前致谢!!
Spark提供内部kafka流,其中你不需要创建自定义消费者有2种方法来连接kafka 1和接收器2.直接接近.有关更多详细信息,请访问此链接http://spark.apache.org/docs/latest/streaming-kafka-integration.html
| 归档时间： |
|
| 查看次数： |
817 次 |
| 最近记录： |