小编h0m*_*mer的帖子

如何在一段时间后自动终止 AWS EMR 集群

我目前手头有一项任务,要在一段时间后终止长期运行的 EMR 集群(基于某些指标)。Google Dataproc 在此处列出的称为“集群计划删除”中具有此功能:https ://cloud.google.com/dataproc/docs/concepts/configuring-clusters/scheduled-deletion

这在 EMR 上是可能的吗?也许使用 Cloudwatch 指标?或者我可以编写一个长时间运行的 jar,它会位于 EMR 主节点上,只轮询纱线以获得一些空闲时间指标,然后在一段时间后关闭集群?

编辑:更多说明。我想要一些功能,其中集群基于空闲时间终止一些 x 时间。例如,如果集群已经运行了一段时间,但没有作业已经运行了 1 小时,并且集群只是坐在那里什么也不做,那么我希望能够终止集群。

amazon-web-services amazon-emr amazon-cloudwatch

9
推荐指数
2
解决办法
7733
查看次数

AWS Glue 和跨区域访问

我有一些关于 AWS Glue 的问题,希望有人能为我解答。

因此,场景是我们在 us-east-1 区域设置了一个 AWS 账户,并且使用 AWS EMR 和 Glue 作为 hive 元存储(通过 emr 配置)。在过去的一年左右的时间里,它一直运行良好,没有出现任何问题,Glue Catalog 有一堆数据库和一堆表。现在我们要做的是将整个项目迁移到另一个区域(同一帐户,不同区域,例如 us-west-1)。所以我已经把其他所有东西都移过来了,ec2 实例、sg 等。问题是我在 us-west-1 中看不到 us-east-1 粘合元存储中的表。现在回答我的问题。

1.) AWS Glue Catalogs 是否特定于区域?意思是,如果我在一个区域中用胶水创建一个数据库/表,它是否保留在该区域中,或者我可以做些什么来跨所有区域访问它?通过控制台和编程方式。

2.) 如果能够跨区域共享单个粘合元存储,那么这如何与 EMR 一起使用,我是否必须在 EMR 配置页面中指定区域属性以及其他粘合设置?

3.) 如果#2可行,跨区域访问glue目录是否需要付费(跨区域访问)

3.) 否则,如果#2 不可能,我是否必须手动从一个区域复制数据库/表并将它们导入到另一区域的粘合数据目录中?这是这样做的正确方法吗?

amazon-web-services aws-sdk aws-glue aws-glue-data-catalog

5
推荐指数
1
解决办法
5811
查看次数