弹性地图减少外部罐子

Question

因此,当直接使用hadoop时,很容易处理外部罐子.您有-libjars选项可以为您执行此操作.问题是你如何使用EMR做到这一点.必须有一种简单的方法.我认为CLI的-cachefile选项会这样做,但我无法以某种方式让它工作.任何人的想法？

谢谢您的帮助.

Answer 1

我对外部jar依赖项的最大好处是将它们(通过引导操作)复制到/home/hadoop/lib整个集群中.该路径位于每个主机的类路径中.无论代码在哪里访问外部jar(工具,作业或任务),这种技术似乎都是唯一可行的技术.

Answer 2

一个选择是在工作流程的第一步中将 JAR 设置在需要的位置。或者，如果它们是依赖项，您可以将它们打包到应用程序 JAR 中（可能位于 S3 中）。