从本地 Spark 访问 AWS Glue

Question

有没有办法针对 AWS Glue 运行本地主 Spark SQL 查询？

在我的本地 PC 上启动此代码：

SparkSession.builder()
    .master("local")
    .enableHiveSupport()
    .config("hive.metastore.client.factory.class", "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory")
    .getOrCreate()
    .sql("show databases"); // this query isn't running against AWS Glue

根据一些示例进行编辑，似乎hive.metastore.uris配置键应该允许指定特定的 Metastore url，但是，尚不清楚如何获取胶水的相关值

SparkSession.builder()
    .master("local")
    .enableHiveSupport()
    .config("hive.metastore.client.factory.class", "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory")
    .config("hive.metastore.uris", "thrift://???:9083")
    .getOrCreate()
    .sql("show databases"); // this query isn't running against AWS Glue

Answer 1

亚马逊提供的这个客户端应该可以解决问题。（还没试过）

https://github.com/awslabs/aws-glue-data-catalog-client-for-apache-hive-metastore