我可以控制 AWS Glue 服务中的 DPU 数量吗？

Question

我可以控制 AWS Glue 服务中的 DPU 数量吗？

我在官方文档中看到Glue有六个DPU，但我不需要最多六个DPU。另外，恐怕会产生过高的成本。

Answer 1

您可以指定工人的数量和类型。文档中的引用：

\n\n

\n

工人类型

\n\n

可以使用以下工人类型：

\n\n

\n

• 标准 \xe2\x80\x93 当您选择此类型时，您还需要提供最大容量的值。最大容量是此作业运行时可以分配的 AWS Glue 数据\n 处理单元 (DPU) 数量。DPU 是处理能力的相对衡量标准，由 4 个 vCPU 计算能力和 16 GB 内存组成。标准工作线程类型具有 50 GB 磁盘和 2 个执行程序。

\n

• G.1X \xe2\x80\x93 当您选择此类型时，您还需要提供“工人数量”值。每个工作线程映射到 1 个 DPU（4 个 vCPU、16 GB 内存、\n 64 GB 磁盘），并为每个工作线程提供 1 个执行程序。我们建议将此工作线程类型用于内存密集型作业。

\n

• G.2X \xe2\x80\x93 当您选择此类型时，您还需要提供“工人数量”值。每个工作线程映射到 2 个 DPU（8 个 vCPU、32 GB 内存、\n 128 GB 磁盘），并为每个工作线程提供 1 个执行程序。我们建议将此工作线程类型用于内存密集型作业和运行 ML 转换的作业。

  \n\n

  您需要根据用于运行 ETL 作业的 DPU 数量按小时付费。有关更多信息，请参阅 AWS Glue 定价页面。

  \n\n

  当您使用控制台配置作业并指定标准工作线程类型时，将设置最大容量，并且工作线程数量将变为最大容量 - 1 的值。如果您使用 AWS\n 命令行界面 (AWS CLI ) 或 AWS SDK，您可以指定最大容量参数，也可以同时指定工作人员类型和工作人员数量。有关更多信息，请参阅职位。

\n

\n\n

工人数量

\n\n

作业运行时分配的已定义工作器类型的工作器数量。\n 对于 G.1X 和 G.2X 工作器类型，您必须指定该类型的工作器数量。\n 您可以定义的最大工作器数量G.1X 为 299，G.2X 为 149。

\n

\n

Answer 2

运行 Glue 作业所需的最小 DPU 是两个。您并不总是需要六个 DPU 来执行 Glue 作业。

要正确规划您的容量，您可以参考此内容。