use*_*783 4 rest apache-spark
我们有一些关于Hadoop的数据需要通过REST服务向我们提供的数据进行扩充.我们使用Spark来搜索和更正丢失的数据.尽管有大量记录要搜索缺失的数据,但预计服务的总呼叫数量很少,因此在我们搜索数据时,最好在Spark中完成整个工作.
我没有在API或Google上看到有关从Spark作业进行REST调用的任何明显内容.可能吗？
谢谢
小智 6
没有什么特别针对此的火花,你可以使用你最喜欢的java或scala HTTP库进行调用,可能是在map函数中,它会返回输入数据和你从服务中检索的数据.
归档时间：
10 年，7 月 前
查看次数：
4381 次
最近记录：
9 年，5 月 前