使用Hiveserver2 Thrift Java客户端时请求挂起

Question

这是这个问题的后续问题,我在哪里询问Hiveserver 2 thrift java客户端API是什么.如果您不需要更多上下文,这个问题应该能够在没有该背景的情况下保持不变.

无法找到有关如何使用hiverserver2 thrift api的任何文档,我把它放在一起.我能找到的最佳参考是Apache JDBC实现.

TSocket transport = new TSocket("hive.example.com", 10002);

transport.setTimeout(999999999);
TBinaryProtocol protocol = new TBinaryProtocol(transport);
TCLIService.Client client = new TCLIService.Client(protocol);  

transport.open();
TOpenSessionReq openReq = new TOpenSessionReq();
TOpenSessionResp openResp = client.OpenSession(openReq);
TSessionHandle sessHandle = openResp.getSessionHandle();

TExecuteStatementReq execReq = new TExecuteStatementReq(sessHandle, "SHOW TABLES");
TExecuteStatementResp execResp = client.ExecuteStatement(execReq);
TOperationHandle stmtHandle = execResp.getOperationHandle();

TFetchResultsReq fetchReq = new TFetchResultsReq(stmtHandle, TFetchOrientation.FETCH_FIRST, 1);
TFetchResultsResp resultsResp = client.FetchResults(fetchReq);

TRowSet resultsSet = resultsResp.getResults();
List<TRow> resultRows = resultsSet.getRows();
for(TRow resultRow : resultRows){
    resultRow.toString();
}

TCloseOperationReq closeReq = new TCloseOperationReq();
closeReq.setOperationHandle(stmtHandle);
client.CloseOperation(closeReq);
TCloseSessionReq closeConnectionReq = new TCloseSessionReq(sessHandle);
client.CloseSession(closeConnectionReq);

transport.close();

我针对使用创建的Hiverserver2实例运行此代码

export HIVE_SERVER2_THRIFT_PORT=10002;hive --service hiveserver2

在调试时,我从来没有超过这条线

TOpenSessionResp openResp = client.OpenSession(openReq);

客户端只是挂起,直到达到超时并且服务器没有向stdout或日志写入任何内容.使用Wireshark,我可以看到OpenSession()的TCP段被发送并确认.一旦我终止客户端或达到超时,服务器就会给我以下内容:

13/03/14 11:15:33 ERROR server.TThreadPoolServer: Error occurred during processing of message.
java.lang.RuntimeException: org.apache.thrift.transport.TTransportException: java.net.SocketException: Connection reset
    at org.apache.thrift.transport.TSaslServerTransport$Factory.getTransport(TSaslServerTransport.java:219)
    at org.apache.thrift.server.TThreadPoolServer$WorkerProcess.run(TThreadPoolServer.java:189)
    at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
    at java.lang.Thread.run(Thread.java:662)
Caused by: org.apache.thrift.transport.TTransportException: java.net.SocketException: Connection reset
    at org.apache.thrift.transport.TIOStreamTransport.read(TIOStreamTransport.java:129)
    at org.apache.thrift.transport.TTransport.readAll(TTransport.java:84)
    at org.apache.thrift.transport.TSaslTransport.receiveSaslMessage(TSaslTransport.java:182)
    at org.apache.thrift.transport.TSaslServerTransport.handleSaslStartMessage(TSaslServerTransport.java:125)
    at org.apache.thrift.transport.TSaslTransport.open(TSaslTransport.java:253)
    at org.apache.thrift.transport.TSaslServerTransport.open(TSaslServerTransport.java:41)
    at org.apache.thrift.transport.TSaslServerTransport$Factory.getTransport(TSaslServerTransport.java:216)
    ... 4 more
Caused by: java.net.SocketException: Connection reset
    at java.net.SocketInputStream.read(SocketInputStream.java:168)
    at java.io.BufferedInputStream.read1(BufferedInputStream.java:256)
    at java.io.BufferedInputStream.read(BufferedInputStream.java:317)
    at org.apache.thrift.transport.TIOStreamTransport.read(TIOStreamTransport.java:127)
    ... 10 more

我觉得有趣的是,当我错误地尝试使用hiveserver(1)客户端对抗hiveserver2时,这是我收到的完全相同的错误,这表明就hiverserver2而言,我的客户端正在发送垃圾.

我看到可能出错的三种可能性.

1)我对客户端API的使用是错误的.我看到在JDBC实现中有一些事情正在进行身份验证和连接参数,我没有在我的示例代码中使用.我玩弄了这个,但是我在黑暗中拍摄并没有得到更多.

2)我的安装步骤错了.我无法在hive-servive-0.10.0 jar中找到TCLIService,但我能够在Hortonworks在HDP 1.2中发布的hive-servive-0.10.0.21 jar中找到它,所以也许可以挖掘它揭露这个问题.或者也许我需要配置服务器端,这解释了为什么我可以使用ODBC而不是我的thrift客户端连接到配置单元.

3)可能在这一点上,不可能针对hiveserver2客户端api进行编写.基于缺乏文档和互联网上明显缺乏成功的例子,这似乎是合理的,但JDBC似乎做到了这一点.我发现这是最不可能的选择.

即使你不知道修复,知道修复是否低于1,2或3将有助于缩小我的搜索范围.

Answer 1

不确定你是否仍然遇到这个问题,但由于我遇到了同样的问题并解决了它(也许绕过了更准确的描述),我会在这里发布一个解决方案以防万一其他人需要它.

这是因为当您打开传输连接时,thrift服务器期望通过SASL进行身份验证.Hive Server 2默认使用SASL - 遗憾的是,PHP缺少TSaslClientTransport的版本(用作另一个TTransport对象的包装),它在您打开传输连接时处理SASL协商.

现在最简单的解决方案是在hive-site.xml中设置以下属性

<property><name>hive.server2.authentication</name><value>NOSASL</value></property>