Aar*_*sch 2 google-cloud-platform google-cloud-composer
我有一些与文件相关的用例,我不确定如何使用Cloud Composer最好地完成.我该如何最好地完成这些？
1)我需要使用私钥(.pem)文件来访问SFTP服务器.该文件应存放在何处以及如何访问？在本地Airflow中,我将文件放在/ dags /所在目录下的文件夹/ keys /中.
2)我需要将文件从SFTP服务器移动到云存储.使用Airflow,我将这些从SFTP服务器下载到Airflow工作器实例上的特定位置,然后从那里上传.我可以使用Composer做类似的事情,还是因为我无法访问文件系统而有解决方法？
小智 9
1)假设只需要在任务运行时访问.pem文件(与DAG定义解析时间相反),您可以将其放在环境的云存储桶的/ data目录中.它在路径/ home/airflow/gcs/data上安装了保险丝.您可以使用Cloud Composer gcloud组件上载文件.
2)这里有2个选项.
从SFTP服务器写入/ home/airflow/gcs/data,它是保险丝挂载到您的云存储桶.您可以将其留在那里或使用GoogleCloudStorageToGoogleCloudStorageOperator将其移动到您真正想要的位置.
如果要复制到本地磁盘并从本地磁盘复制到云存储,则需要在同一任务中执行这两个步骤(由于Cloud Composer环境使用CeleryExecutor,因此无法保证同一DAG中的任务在同一台机器).你应该能够写入/ home/airflow和/ tmp.
| 归档时间： |
|
| 查看次数： |
2051 次 |
| 最近记录： |