我正在 NiFi 中从 Kafka 读取数据,并想使用 python 脚本将数据上传到 GCS。到目前为止,我们一直在 NiFi 中使用 PutGCS 对象处理器,但希望避免使用 GCP 控制器服务,因为当 GCP 服务帐户密钥发生更改时,我们必须再次禁用并启用它们(我们已通过 python 实现了自动化)。
所以我们正在考虑使用python脚本来获取NiFi流文件中的数据并将其写入GCS。问题是我们不想将数据写入本地文件然后将其推送到 GCS。有没有办法将Python变量中保存的数据直接写入文件GCS?
我们正在寻找类似于 Node.js 可用的东西,如下所示:
python google-cloud-storage google-cloud-platform apache-nifi