Google Dataproc群集内加密

Question

我们正致力于符合GDPR标准.其中一个核心问题是数据加密.我知道,当数据在Google Cloud Platform中的节点之间移动时,存在传输中的数据加密.群集中的数据加密如何,例如在洗牌期间,使用Google Dataproc时？此外,当tmp内部使用dir(默认情况下有纯文本文件)时,数据是否被加密？

Answer 1

Dataproc基于GCE VM构建,因此适用相同的安全性.

GCE VM(PD或本地SSD)磁盘上的所有数据都已加密:https://cloud.google.com/compute/docs/disks/.所以Spark的tmp目录确实是加密的.

离开Goog​​le数据中心的网络通信(例如跨区域流量)已加密.此外,Google API访问权限已加密.但是,数据中心内的节点到节点通信(可能是所有群集内数据通信流量)未加密.您可以在此处阅读更多信息:https://cloud.google.com/security/encryption-in-transit/.

话虽如此,群集内通信基本上是空洞的.节点到节点的通信通过隔离的VPC网络上的内部IP进行.Dataproc提供了有关如何配置防火墙规则的指导.

您还可以使用Dataproc 专用IP群集来避免在VM上具有外部IP地址.

以下是有关Google Cloud GDPR合规性的文档:https://www.google.com/cloud/security/gdpr/.