将凭据发送到Google Dataflow作业

Question

将凭证传递给Dataflow作业的正确方法是什么？

我的某些Dataflow作业需要凭据才能进行REST调用以及获取/后处理数据。

我目前正在使用环境变量将凭据传递给JVM，将它们读入Serializable对象，然后将其传递给DoFn实现的构造函数。我不确定这是正确的方法，因为任何可序列化的类都不应包含敏感信息。

我想到的另一种方法是将凭据存储在GCS中，并使用服务帐户密钥文件检索它们，但是想知道为什么我的工作应该执行从GCS读取凭据的任务。

Answer 1

Google Cloud Dataflow不具有传递或存储安全机密的本机支持。但是，当您建议在运行时使用Dataflow服务帐户凭据读取机密时，可以使用Cloud KMS和/或GCS。

如果您在运行时从读取证书DoFn，则可以使用DoFn.Setup生命周期API读取一次该值，并将其缓存到整个生命周期DoFn。

您可以在这里了解有关Google Cloud中的秘密管理的各种选项：Cloud KMS的秘密管理。