如何从命令行设置/获取json格式的气流变量

Question

我无法通过 Cloud Shell 以 json 格式编辑气流变量的值。

我正在使用 cloud shell 访问我的气流变量参数（以 json 格式），当我使用以下命令时，它为我提供了完整的 json：

gcloud composer environments run composer001 
--location us-east1 variables 
--get params

但是我想编辑 json 中的值之一，我如何访问它？

我参考了 google 上的文档和其他各种链接，但是只能找到如何设置不是 json 格式而是单值变量的变量。

Answer 1

Cloud Composer CLI 和 Airflow CLI 仅对顶级变量进行操作，而不是它们的 JSON 内容。

您可以使用 Airflow UI 来编辑您的 JSON 变量，因为 UI 会加载整个变量，您可以就地编辑它。或者，如果您需要通过命令行更新 JSON 变量中的特定值，您可以先将变量导出到 JSON 文件：

gcloud composer environments run \
    [ENVIRONMENT] --location [LOCATION] \
    variables -- --export /home/airflow/gcs/data/your-vars.json

gcloud composer environments storage data export \
    --environment [ENVIRONMENT] --location [LOCATION] \
    --source your-vars.json --destination .

使用如下命令编辑 JSON 中的值jq：

jq '.params.jsonkey = "newvalue"' your-vars.json > your-updated-vars.json

并将更新后的文件导入回 Cloud Composer：

gcloud composer environments storage data import \
    --environment [ENVIRONMENT] --location [LOCATION] \
    --source your-updated-vars.json

gcloud composer environments run \
    [ENVIRONMENT] --location [LOCATION] \
    variables -- --import /home/airflow/gcs/data/your-updated-vars.json