R Hive Thrift Client

Question

我正在努力为我公司的R数据访问包添加HiveServer2支持.我很好奇生成R Thrift客户端的最佳方法是什么.我正在考虑在Java Thrift客户端上编写一个R包装器,类似于rhbase所做的,但如果可能的话,我更喜欢纯R解决方案.

注意事项:

• HiveServer2 thrift服务器与原来的Hive Thrift服务器不同.
• 我看过并使用过RHive包.在我遇到的其他问题中,它需要Hadoop和Hive的系统安装,这在R客户端机器上并不总是可用.
• 我有点可怕 - 但目前已经足够 - 解决方法是将beeline客户端包含在R的优点中.

Answer 1

这个问题的确切范围对于 Stackoverflow 来说可能太宽泛，提问者确认他放弃了这个任务，但对于未来的读者来说，这可能是要寻找的东西：

从 R 中，您可以使用 JDBC 连接到 Hive。

这并不完全是提问者的目的，但在大多数情况下应该能达到目的。

解决方案的关键部分是 RJDBC 包，这里是在Cloudera 社区上找到的一些示例代码

library(DBI)
library(rJava)
library(RJDBC)
hadoop.class.path = list.files(path=c("/usr/hdp/2.4.0.0-169/hadoop"),pattern="jar", full.names=T);
hive.class.path = list.files(path=c("/usr/hdp/current/hive-client/lib"),pattern="jar", full.names=T);
hadoop.lib.path = list.files(path=c("/usr/hdp/current/hive-client/lib"),pattern="jar",full.names=T);
mapred.class.path = list.files(path=c("/usr/hdp/current/hadoop-mapreduce-client/lib"),pattern="jar",full.names=T);
cp = c(hive.class.path,hadoop.lib.path,mapred.class.path,hadoop.class.path)
drv <- JDBC("org.apache.hive.jdbc.HiveDriver","hive-jdbc.jar",identifier.quote="`")
conn <- dbConnect(drv, "jdbc:hive2://ixxx:10000/default", "hive", "hive")
show_databases <- dbGetQuery(conn, "show databases")

全面披露：我是 cloudera 的员工。