数据流作业完成后如何从云存储中删除文件
Sri*_*vas 0 google-cloud-storage google-cloud-platform google-cloud-dataflow
在GCP中,我有一个数据流作业,可以将文件从云存储复制到大查询.我想在这些文件成功插入大查询后删除它们.有人可以提供有关如何实现这一点的指示,以及如何在上一个工作成功后触发另一个工作？
对于这些类型的方案,通常建议您在架构中引入用于调度和工作负载编排的工具.Google Cloud提供了Cloud Composer,这是Airflow的托管版本,可以完全解决此用例.您可以在Composer中安排DAG(有向非循环图)来启动Dataflow作业,然后在作业运行成功时执行其他任务以进行文件清理或启动下一个过程.
示例DAG
要开始使用,我建议您查看Cloud Composer 文档以及这些与您的用例类似的Cloud Composer示例.
| 归档时间： |
|
| 查看次数： |
479 次 |
| 最近记录： |