标签: aws-lake-formation

S3 Lake Formation 控制表和 Databricks Delta 表之间的主要区别是什么？他们看起来很相似。

我正在尝试从 AWS Lake Formation 控制台设置数据湖。

我正在按照以下资源做同样的事情：https : //aws.amazon.com/blogs/big-data/integrating-aws-lake-formation-with-amazon-rds-for-sql-server/

但是在创建数据库的第二步中，在输入数据库名称并选择 s3 位置后，我得到

s3 上的 Lake Formation 权限不足：

我检查了我的权限，我将管理员角色映射到我的帐户，允许所有 (*)

任何人都可以帮助实际问题是什么！

我已启用 Lake Formation 并尝试创建一个数据库，但无论如何我仍然收到错误： Lake Formation 权限不足：需要在目录上创建数据库

我正在使用具有所有权限的 root 帐户。我什至明确授予AWSLakeFormationDataAdmin权限但没有成功。我已将自己（用户）添加到数据湖管理员，但无法将自己添加到数据库创建者（AWS Lake Formation > 权限 > 管理员和数据库创建者）：

资源不存在或请求者无权访问请求的权限。

所以基本上我唯一能做的就是注册 S3 位置。我做错了什么吗？

我一直在为客户设置数据湖，其中我们将数据从本地或任何其他来源加载到 S3（数据湖）中。我们将根据这些原始数据创建一个 AWS Glue 目录来创建架构。

下一步是使用 EMR 或 AWS Glue 进行一些数据清理，将转换后的数据加载到 RDS / REDSHIFT / S3 作为最终目标。

可以使用数据管道、Glue 作业或 AWS Lambda 事件触发器来计划作业，具体取决于所使用的用例/服务。

将使用 IAM 服务为分析师和其他用户提供所需的数据/S3 存储桶访问权限，以进行 Quicksight 可视化或使用 Athena、Drill 等进行数据查询，或将数据用于 Sagemaker 中的 ML 应用程序。

我的问题是 AWS Lake Formation 与上述传统数据湖有何不同？

我可以定义AWS Lake Formation提供的所有上述服务（例如S3、Glue Catalog、Glue中的ETL代码生成器、作业调度程序等）都可以在单个窗口中使用吗？为用户/数据（记录/列级别）提供一些更高级的安全性，可以在 Lake Formation 控制台中进行配置。

还有什么能让湖的形成从传统的基于云的数据湖中脱颖而出吗？

谢谢

我现在正在抓住救命稻草。我在 LakeFormation 中有一个数据库，并且已授予 Quicksight 服务角色访问该数据库以及基础表（及其 S3 存储桶）的权限。我还验证了 Quicksight 位置 (us-east-1 N. Virginia) 与基础表的 s3 存储桶位置相同。完成所有这些操作后，当我单击“新数据集”并选择 Athena 时，我仍然无法在 AwsDataCatalog 下看到我的数据库。如果我直接去 athena，我可以在那里看到我的数据库+表。我还需要做什么？

谢谢！

我正在通过以下页面学习 Glue with Pyspark： https: //aws-dojo.com/ws8/labs/configure-crawler/。

我的问题是：创建粘合作业是否需要爬网程序并在 Lake Formation 中创建数据库？

我的 aws 角色有一些问题，并且我无权在 LakeFormation 中创建资源，所以我在想是否可以跳过它们，只创建粘合作业并测试我的脚本？

例如，我只想测试一个输入 .txt 文件的 pyspark 脚本，我将其存储在 S3 中，我还需要爬虫吗？我可以boto3创建一个粘合作业来测试脚本并进行一些预处理并将数据写回 s3 吗？