小编mil*_*212的帖子

无论如何,我可以将抢占式实例用于数据流作业吗?

很明显,抢占式实例比非抢占式实例便宜。每天有 400-500 个数据流作业在我的组织项目中运行。其中一些工作是时间敏感的,而另一些则不是。那么有没有什么办法可以将抢占式实例用于非时间约束作业,这将降低整体管道执行的成本。目前我正在运行具有以下指定配置的数据流作业。

        options.setTempLocation("gs://temp/");
        options.setRunner(DataflowRunner.class);
        options.setTemplateLocation("gs://temp-location/");
        options.setWorkerMachineType("n1-standard-4");
        options.setMaxNumWorkers(20);
        options.setWorkerCacheMb(2000);
Run Code Online (Sandbox Code Playgroud)

我无法找到具有抢占式实例设置的任何管道选项。

google-compute-engine google-cloud-platform google-cloud-dataflow apache-beam

5
推荐指数
1
解决办法
587
查看次数

3
推荐指数
1
解决办法
657
查看次数