我们如何使用 gsutil 命令创建文件夹。我在气流中使用 Bashoperator,需要使用 gsutil Bash 命令,存储桶已创建,我想在存储桶内创建一个文件夹。我已经尝试过以下命令,但它对我不起作用。
$ gsutil cp <new_folder> gs://<bucketname>/
Run Code Online (Sandbox Code Playgroud)
我收到错误 - CommandException:没有匹配的 URL:new_folder
bucket google-cloud-storage gsutil google-cloud-platform airflow
当我尝试运行 Maven 构建时,我遇到了构建错误。我创建了一个简单的 Java 项目,其中包含 lambda 函数,因此我得到了
[ERROR] (...) lambda expressions are not supported in -source 1.5
[ERROR] (use -source 8 or higher to enable lambda expressions)
Run Code Online (Sandbox Code Playgroud)
我的 Java 版本是 1.8.0_172,我的 Maven 版本是 3.6.0。
我是Python和Airflow的新手,我已经在Python脚本中使用创建了4个任务pythonoperator
。第一个和第二个任务从中GCP Bucket
读取zip文件,然后读取数据,另一个任务是合并两个文件数据。现在,我需要再创建一个可以创建的任务Dataproc Cluster
。
我已经看到了Airflow API
,但是我没有得到足够的信息和线索。有没有可以帮助您的例子?
提前致谢!