AWS Lambda 是否优于 AWS Glue Job？

Question

在AWS Glue作业中，我们可以编写一些脚本并通过作业执行脚本。

在 AWS Lambda 中，我们也可以编写相同的脚本并执行上述作业中提供的相同逻辑。

因此，我的疑问不是 AWS Glue Job 与 AWS Lambda 之间有什么区别，而是我试图了解 AWS Glue 作业何时应优先于 AWS Lambda，特别是当两者执行相同的作业时？如果两者执行相同的工作，那么理想情况下我会盲目地更喜欢使用 AWS Lambda 本身，对吧？

请尝试理解我的查询..

Answer 1

补充要点：

根据此来源以及Lambda 常见问题解答和Glue 常见问题解答

Lambda 可以使用多种不同的语言（Node.js、Python、Go、Java 等），而 Glue 只能使用 Scala 或 Python 代码执行作业。

Lambda 可以通过其他服务（SQS、Kafka、DynamoDB、Kinesis、CloudWatch 等）的触发器执行代码，而 Glue 可以由 lambda 事件、另一个 Glue 作业手动或按计划触发。

与 Glue 作业相比，Lambda 对于较小的任务运行速度要快得多，Glue 作业由于使用分布式处理而需要更长的初始化时间。话虽如此，Glue 利用其并行处理来比 Lambda 更快地运行大型工作负载。

Lambda 看起来需要更多的复杂性/代码来集成到数据源（Redshift、RDS、S3、ECS 实例上运行的数据库、DynamoDB 等），而 Glue 可以轻松地与这些集成。然而，通过添加 Step Functions，可以按顺序编写和排序多个 lambda 函数，从而降低复杂性并提高模块化性，其中每个函数都可以集成到 aws 服务中（Redshift、RDS、S3、在 ECS 实例上运行的数据库、DynamoDB 等）。 ）

Glue 看起来有许多附加组件，例如数据目录（用于查看数据的中央元数据存储库）、灵活的调度程序（处理依赖项解析/作业监控/重试）、AWS Glue DataBrew（用于通过可视化界面清理和标准化数据） 、用于跨多个数据存储组合和复制数据的 AWS Glue Elastic Views、用于验证流数据架构的 AWS Glue Schema Registry。

我还缺少其他示例，因此请随时发表评论，我可以更新。

Answer 2

Lambda 的生命周期为十五分钟。它可用于触发粘合作业作为基于事件的活动。也就是说，例如，当文件到达 S3 时，我们可以有一个可以运行粘合作业的事件触发器。Glue 是用于所有数据处理的托管服务。

如果数据量非常低，也许你可以用 lambda 来完成，但由于某种原因，该过程超过了十五分钟，那么数据处理就会失败。