Boto3 EMR - Hive步骤

Question

是否可以使用boto 3执行蜂巢步骤？我一直在使用AWS CLI,但是从文档(http://boto3.readthedocs.org/en/latest/reference/services/emr.html#EMR.Client.add_job_flow_steps),似乎只接受了罐子.如果可以采用Hive步骤,那么资源在哪里？

谢谢

Answer 1

在 Boto 的早期版本中，有一个名为的帮助程序类HiveStep，可以轻松构建执行 Hive 作业的作业流程步骤。然而在 Boto3 中，方法发生了变化，类是在运行时从 AWS REST API 生成的。因此，不存在这样的帮助器类。查看 的源码HiveStep，https://github.com/boto/boto/blob/2d7796a625f9596cbadb7d00c0198e5ed84631ed/boto/emr/step.py可以看出，这是 的子类Step，它是一个具有属性jar args和 的类mainclass，非常与Boto3中的要求类似。

事实证明，EMR 上的所有作业流程步骤（包括 Hive 作业流程步骤）仍然需要从 JAR 进行实例化。因此，您可以通过 Boto3 执行 Hive 步骤，但没有帮助器类可以轻松构建定义。

通过查看HiveStepBoto 先前版本中使用的方法，您可以构建有效的作业流程定义。

或者，您可以重新使用 Boto 的早期版本。