Hive执行钩子

Question

我需要在Apache Hive中挂钩自定义执行挂钩.如果有人知道怎么做,请告诉我.

我正在使用的当前环境如下:

Hadoop:Cloudera版本4.1.2操作系统:Centos

谢谢,阿伦

Answer 1

根据您要注入自定义代码的阶段,有几种类型的挂钩:

• 司机跑钩(前/后)
• 语义分析器挂钩(前/后)
• 执行挂钩(Pre/Failure/Post)
• 客户统计发布者

如果您运行脚本,则处理流程如下所示:

1. Driver.run()接受命令
2. HiveDriverRunHook.preDriverRun()
   (HiveConf.ConfVars.HIVE_DRIVER_RUN_HOOKS)
3. Driver.compile()开始处理命令:创建抽象语法树
4. AbstractSemanticAnalyzerHook.preAnalyze()
   (HiveConf.ConfVars.SEMANTIC_ANALYZER_HOOK)
5. 语义分析
6. AbstractSemanticAnalyzerHook.postAnalyze()
   (HiveConf.ConfVars.SEMANTIC_ANALYZER_HOOK)
7. 创建并验证查询计划(物理计划)
8. Driver.execute():准备好运行作业
9. ExecuteWithHookContext.run()
   (HiveConf.ConfVars.PREEXECHOOKS)
10. ExecDriver.execute()运行所有作业
11. 对于每HiveConf.ConfVars.HIVECOUNTERSPULLINTERVAL间隔每个作业:
    ClientStatsPublisher.run()被称为发布的统计数据
    (HiveConf.ConfVars.CLIENTSTATSPUBLISHERS)
    如果任务失败:ExecuteWithHookContext.run()
    (HiveConf.ConfVars.ONFAILUREHOOKS)
12. 完成所有任务
13. ExecuteWithHookContext.run()
    (HiveConf.ConfVars.POSTEXECHOOKS)
14. 在返回结果之前HiveDriverRunHook.postDriverRun()
    (HiveConf.ConfVars.HIVE_DRIVER_RUN_HOOKS)
15. 返回结果.

对于每个钩子,我指出了你必须实现的接口.在括号中有相应的conf.支柱.您必须设置的密钥才能在脚本的开头注册该类.例如:设置PreExecution挂钩(工作流程的第9个阶段)

HiveConf.ConfVars.PREEXECHOOKS -> hive.exec.pre.hooks :
set hive.exec.pre.hooks=com.example.MyPreHook;

遗憾的是,这些功能并未真正记录,但您可以随时查看Driver类以查看钩子的评估顺序.

备注:我在这里假设Hive 0.11.0,我不认为Cloudera分布不同(太多)