h.z*_*zak 3 java mysql apache-spark spark-streaming spark-dataframe
我想使用spark streaming来读取来自RDBMS数据库的数据,比如mysql.
但我不知道如何使用JavaStreamingContext来做到这一点
JavaStreamingContext jssc = new JavaStreamingContext(conf, Durations.milliseconds(500));
DataFrame df = jssc. ??
我在互联网上搜索,但我没有找到任何东西
先感谢您.
如果不安装某些第三方软件,你就无法做到这一点.
你可以做的是创建一个个性化的接收器,它可以完成你想要的,使用SparkSQL包和Streaming组合.
实现扩展Receiver的类,并在内部执行从数据库中提取数据所需的所有连接和查询.
我现在在工作,所以我会给你一个链接,看看而不是生成代码,抱歉:
http://spark.apache.org/docs/latest/streaming-custom-receivers.html
https:// medium .COM/@ anicolaspp /火花定制流来源,e7d52da72e80