python 依赖项可以加载到 Google Cloud Dataflow 管道中吗?
我想使用gensim 的短语建模器,它逐行读取数据以自动检测常用短语/二元组(经常出现在彼此旁边的两个词)。
因此,管道的第一次运行会将每个句子传递给这个短语建模器。
然后第二次通过管道将采用相同的短语建模器并将这个短语建模器应用于每个句子,以确定应该一起建模的短语。例子:
machine和learning频繁地出现在语料库中,它们将被转换为单个单词machine_learning。 这可以在 Dataflow 中完成吗?
可以pip install gensim在工作机器上强制传递构建/需求文件吗?
我无法通过 Cloud Shell 以 json 格式编辑气流变量的值。
我正在使用 cloud shell 访问我的气流变量参数(以 json 格式),当我使用以下命令时,它为我提供了完整的 json:
gcloud composer environments run composer001
--location us-east1 variables
--get params
Run Code Online (Sandbox Code Playgroud)
但是我想编辑 json 中的值之一,我如何访问它?
我参考了 google 上的文档和其他各种链接,但是只能找到如何设置不是 json 格式而是单值变量的变量。