小编pas*_*ati的帖子

如何使用Google DataProc Java Client在相关的GS存储桶中使用jar文件和类提交spark作业?

我需要触发Spark Jobs以使用API​​调用从JSON文件聚合数据.我使用spring-boot来创建资源.因此,解决方案的步骤如下:

  1. 用户使用json文件作为输入发出POST请求
  2. JSON文件存储在与数据中心群集关联的Google存储桶中.
  3. 在REST方法中使用指定的jar,类和参数触发聚合spark作业是json文件链接.

我希望使用Dataproc的Java Client而不是控制台或命令行来触发作业.你怎么做呢?

java json google-compute-engine google-cloud-dataproc

5
推荐指数
1
解决办法
1382
查看次数