Nik*_*ias 5 jobs amazon-web-services amazon-athena aws-glue
我正在尝试使用 Athena 视图作为我的 AWS Glue 作业的数据源。我在尝试运行 Glue 作业时收到的错误消息与视图的分类有关。我可以将其定义为什么?谢谢
您可以使用Athena JDBC 驱动程序。这种方法绕过了目录,因为只有 Athena(而不是 2019 年 1 月 25 日的 Glue)可以直接访问视图。
from awsglue.dynamicframe import DynamicFrame
# ...
athena_view_dataframe = (
glueContext.read.format("jdbc")
.option("user", "[IAM user access key]")
.option("password", "[IAM user secret access key]")
.option("driver", "com.simba.athena.jdbc.Driver")
.option("url", "jdbc:awsathena://athena.us-east-1.amazonaws.com:443")
.option("dbtable", "my_database.my_athena_view")
.option("S3OutputLocation","s3://bucket/temp/folder") # CSVs/metadata dumped here on load
.load()
)
athena_view_datasource = DynamicFrame.fromDF(athena_view_dataframe, glueContext, "athena_view_source")
Run Code Online (Sandbox Code Playgroud)
驱动程序文档 ( pdf ) 提供了 IAM 用户身份验证的替代方案(例如 SAML、自定义提供程序)。
这种方法的主要副作用是加载会导致查询结果以 CSV 格式转储到使用S3OutputLocation键指定的存储桶。
我不相信您可以通过 JDBC创建到 Athena的Glue 连接,因为您无法指定驱动程序位置的 S3 路径。
归因:AWS 支持完全帮助我完成这项工作。
| 归档时间: |
|
| 查看次数: |
2785 次 |
| 最近记录: |