h0m*_*mer 5 amazon-web-services aws-sdk aws-glue aws-glue-data-catalog
我有一些关于 AWS Glue 的问题,希望有人能为我解答。
因此,场景是我们在 us-east-1 区域设置了一个 AWS 账户,并且使用 AWS EMR 和 Glue 作为 hive 元存储(通过 emr 配置)。在过去的一年左右的时间里,它一直运行良好,没有出现任何问题,Glue Catalog 有一堆数据库和一堆表。现在我们要做的是将整个项目迁移到另一个区域(同一帐户,不同区域,例如 us-west-1)。所以我已经把其他所有东西都移过来了,ec2 实例、sg 等。问题是我在 us-west-1 中看不到 us-east-1 粘合元存储中的表。现在回答我的问题。
1.) AWS Glue Catalogs 是否特定于区域?意思是,如果我在一个区域中用胶水创建一个数据库/表,它是否保留在该区域中,或者我可以做些什么来跨所有区域访问它?通过控制台和编程方式。
2.) 如果能够跨区域共享单个粘合元存储,那么这如何与 EMR 一起使用,我是否必须在 EMR 配置页面中指定区域属性以及其他粘合设置?
3.) 如果#2可行,跨区域访问glue目录是否需要付费(跨区域访问)
3.) 否则,如果#2 不可能,我是否必须手动从一个区域复制数据库/表并将它们导入到另一区域的粘合数据目录中?这是这样做的正确方法吗?
只为将来看到这一点的人。我最终使用我编写的一个 Java 程序来移动表,该程序使用 AWS Java Glue API 从一个区域读取表并在另一个区域中创建它们。然后相同的代码从原始区域中删除表。确实没看到其他办法。我们有大约 1000 多个表需要移动,因此手动复制它们并不是一个真正的选择。
| 归档时间: |
|
| 查看次数: |
5811 次 |
| 最近记录: |