Spark:从REST服务创建RDD

Question

Spark中是否有可用于将RDD绑定到REST服务的开箱即用功能？也就是说,调用Web服务并获取RDD.

或者是我自己调用其余服务并将结果集合转换为RDD的最简单方法？

谢谢.

Answer 1

可以参考Spark-Jobserver链接

我认为您正在寻找的 Spark-Jobserver 的一些功能是：

• “Spark 即服务”：适用于作业、上下文管理各个方面的简单 REST 接口
• 启动和停止 RDD 共享和低延迟作业的作业上下文；重启时更改资源
• 异步和同步作业 API。同步 API 非常适合低延迟作业！
• 命名 RDD 通过名称缓存和检索 RDD，提高作业之间的 RDD 共享和重用。

希望这可以帮助。