小编Kev*_*zel的帖子

数据流管道中的外部 Python 依赖项

python 依赖项可以加载到 Google Cloud Dataflow 管道中吗?

我想使用gensim 的短语建模器,它逐行读取数据以自动检测常用短语/二元组(经常出现在彼此旁边的两个词)。

因此,管道的第一次运行会将每个句子传递给这个短语建模器。

然后第二次通过管道将采用相同的短语建模器并将这个短语建模器应用于每个句子,以确定应该一起建模的短语。例子:

  • 如果machinelearning频繁地出现在语料库中,它们将被转换为单个单词machine_learning

这可以在 Dataflow 中完成吗?

可以pip install gensim在工作机器上强制传递构建/需求文件吗?

python google-cloud-dataflow apache-beam

3
推荐指数
1
解决办法
2977
查看次数

如何从命令行设置/获取json格式的气流变量

我无法通过 Cloud Shell 以 json 格式编辑气流变量的值。

我正在使用 cloud shell 访问我的气流变量参数(以 json 格式),当我使用以下命令时,它为我提供了完整的 json:

gcloud composer environments run composer001 
--location us-east1 variables 
--get params
Run Code Online (Sandbox Code Playgroud)

但是我想编辑 json 中的值之一,我如何访问它?

我参考了 google 上的文档和其他各种链接,但是只能找到如何设置不是 json 格式而是单值变量的变量。

google-cloud-platform google-cloud-composer

1
推荐指数
1
解决办法
3452
查看次数