我们可以考虑将AWS Glue替代EMR吗？

Question

Masters只是一个简单的问题，因为作为一种ETL工具，AWS Glue可以为公司带来好处，例如，服务器维护最少或无需维护，通过避免过度配置或资源不足而节省成本，除了运行spark之外，我在寻求澄清，如果AWS Glue可以代替EMR？

如果两者可以共存，那么EMR如何与AWS Glue一起发挥作用？

感谢和问候

尤瓦

Answer 1

根据我的理解，胶水不能替代 EMR。这实际上取决于您的用例。胶水 ETL 有一些限制；

• 它不支持 --packages。
• 您没有用于存储临时数据的内部存储器。

使用glue catalog 可以在Athena 中查看数据，但是它也有一些限制，比如不能像select 一样创建表，不能创建视图等。您可以在EMR 中使用Glue 数据目录来克服Athena 的限制。

因此，目前胶水可以替代持久元数据存储。

Answer 2

AWS Glue 不允许我们配置很多东西，比如执行程序内存或驱动程序内存。它是一项完全托管的服务，默认驱动程序内存为 5Gb，默认执行器内存为 5Gb。另一方面，AWS EMR 不是完全托管的服务，需要我们进行配置。更适合有经验的工程师。