Apache Hive中的自动化测试

Question

我即将开始使用Apache Hadoop/Hive开展项目,该项目将涉及一组hive查询脚本,以便为各种下游应用程序生成数据源.这些脚本似乎是某些单元测试的理想选择 - 它们代表了我的数据存储和客户端应用程序之间的API契约的实现,因此,编写给定的一组起始数据的预期结果应该是微不足道的.我的问题是如何运行这些测试.

如果我正在使用SQL查询,我可以使用像SQLlite或Derby这样的东西来快速启动测试数据库,加载测试数据并针对它们运行一系列查询测试.不幸的是,我不知道任何这样的Hive工具.目前,我最好的想法是让测试框架调出一个hadoop本地实例并针对它运行Hive,但我以前从未这样做过,我不确定它是否可行,或者是正确的路径.

另外,我对于我正在做什么是单元测试或集成测试的迂腐讨论不感兴趣 - 我只需要能够证明我的代码有效.

Answer 1

Hive 有特殊的独立模式，专为测试目的而设计。在这种情况下它可以在没有hadoop的情况下运行。我认为这正是您所需要的。有一个文档链接：

http://wiki.apache.org/hadoop/Hive/HiveServer