使用 Google Cloud 执行长时间运行的任务

Question

我已经使用 Google Cloud 几个星期了，但由于我有限的 GCP 知识，我面临着一个大问题。

我有一个 python 项目，其目标是使用其 API 从网站“抓取”数据。我的项目在执行过程中运行了数万个请求，并且可能需要很长时间（几个小时，也许更多）

我的项目中有 4 个 python 脚本，它们都是由 bash 脚本编排的。

执行如下：

• 第一个脚本检查 CSV 文件，其中包含请求的所有说明，然后执行请求，将请求的所有结果保存在 CSV 文件中
• 第二个脚本检查之前创建的 CSV 文件并重新创建另一个 CSV 指令文件
• 第一个脚本再次运行，但使用新指令，并再次将结果保存在 CSV 文件中
• 第二个脚本再次检查并再次执行相同操作...
• ……如此反复几次
• 第三个脚本清理数据、删除重复项并创建唯一的 CSV 文件
• 第四个脚本将最终的 CSV 文件上传到存储桶

现在我想摆脱那个 bash 脚本，并且我想自动执行这些脚本。一个星期一次。

这里的问题是执行时间。这是我已经测试过的：

Google App Engine：GAE 上的请求超时限制为 10 分钟，而我的函数可以运行几个小时。GAE 在这里不可用。

Google 计算引擎：我的脚本最多可以运行。每周 10-15 小时，在这段时间里保持计算引擎运行的成本太高了。

我可以做什么来在云环境中自动执行脚本？在不更改代码的情况下，我没有想到的解决方案可能是什么？

谢谢

Answer 1

无需删除现有的 bash 脚本即可实现此目的的一个简单方法是：

1. 将 bash 脚本包含在实例的启动脚本中。
2. 在 bash 脚本的末尾包含一个shutdown命令。
3. 使用Cloud Scheduler安排实例的启动。您必须对 GCE API 进行经过身份验证的调用才能启动现有实例。

这样，您的实例将按计划启动，它将运行启动脚本（这将是您现有的编排脚本），并在完成后关闭。