很明显,抢占式实例比非抢占式实例便宜。每天有 400-500 个数据流作业在我的组织项目中运行。其中一些工作是时间敏感的,而另一些则不是。那么有没有什么办法可以将抢占式实例用于非时间约束作业,这将降低整体管道执行的成本。目前我正在运行具有以下指定配置的数据流作业。
options.setTempLocation("gs://temp/");
options.setRunner(DataflowRunner.class);
options.setTemplateLocation("gs://temp-location/");
options.setWorkerMachineType("n1-standard-4");
options.setMaxNumWorkers(20);
options.setWorkerCacheMb(2000);
Run Code Online (Sandbox Code Playgroud)
我无法找到具有抢占式实例设置的任何管道选项。
google-compute-engine google-cloud-platform google-cloud-dataflow apache-beam
有没有办法将 HUE 与 dataproc 集群集成?