s3 select和athena有什么区别

Question

我试图了解aws athena服务和新发布的s3 select之间的区别(仍在预览中).那两个用户的用途有何不同？这似乎都有助于从s3中选择部分数据.

Answer 1

看起来我们还缺少一件重要的事情：

S3 Select 仅对一个对象进行操作，而 Athena 则跨多个路径运行查询，这将包括该路径内的所有文件。

Answer 2

Amazon Athena ： \nAmazon Athena 是一项查询服务，可以使用标准 SQL 轻松分析存储在 S3 中的数据。\nAthena 是无服务器的，因此无需设置或管理基础设施，只需为查询付费。它自动扩展 \xe2\x80\x93 并行执行查询，这使得它能够产生更快的结果，即使对于大型数据集和复杂的查询也是如此。

\n

用例： \nAthena 可用于处理日志、执行即席分析以及运行交互式查询和联接。\n跨多个路径运行查询，其中包括该路径下的所有文件。

\n

S3 Select ： \nS3 Select 是一项 S3 功能，它的工作原理是检索对象\xe2\x80\x99s 数据的子集（使用简单的 SQL 表达式）而不是整个对象，其大小最多可达 5 TB。\ ns3 select 一次对 s3 存储桶中的单个对象运行查询。

\n

结论： \nAthena 可用于对文件进行复杂查询，并跨越 S3 存储桶下的多个文件夹。
\nS3 Select 可用于基于单个对象的简单查询。

\n

Answer 3

Athena（从我用过的那一点点开始）更适合作为 S3 支持的业务报告或分析工具。

S3 select 似乎使用了相同类型的技术，但我猜它的目的更多是由应用程序直接使用来过滤或分片他们的数据集。

Answer 4

您可以考虑将AWS S3 Select作为一种具有成本效益的存储优化方案，该方案允许检索与S3中的谓词匹配的数据以及冰川（也称为下推式过滤）。

AWS Athena是完全托管的分析服务，允许运行任意符合ANSI SQL的查询-按窗口，地理功能，SQL DDL和DML进行分组。

Answer 5

S3 Select 可以使用简单的 SQL 表达式轻松地从对象的内容中检索特定数据。无需检索整个对象。它可以与 Lambda 一起使用来构建无服务器应用程序，并可以与 Apache Spark 和 Presto 等大数据框架结合使用。可以将性能提高高达400%。

Amazon Athena 是一项交互式查询服务。它是无服务器的。无需将数据加载到 Athena 中。基于 Presto 构建并运行标准 SQL。主要用于分析大数据。