有没有Spark SQL jdbc驱动程序？

Question

我正在寻找支持Spark SQL的客户端jdbc驱动程序.

到目前为止,我一直在使用Jupyter在Spark上运行SQL语句(在HDInsight上运行),我希望能够使用JDBC进行连接,以便我可以使用第三方SQL客户端(例如SQuirreL,SQL Explorer等)代替的笔记本界面.

我找到了一个来自Microsoft的ODBC驱动程序,但这对基于java的SQL客户端没有帮助.我也尝试从我的集群中下载Hive jdbc驱动程序,但是Hive JDBC驱动程序似乎不支持Spark所做的更高级的SQL功能.例如,Hive驱动程序抱怨不支持不是equajoins的join语句,我知道这是Spark支持的功能,因为我已成功在Jupyter中执行了相同的SQL.

Answer 1

Hive JDBC 驱动程序似乎不支持 Spark 所支持的更高级的 SQL 功能

无论提供何种支持，Spark Thrift Server 都与 Hive/Beeline 的 JDBC 连接完全兼容。

因此，这就是您需要使用的 JAR。我已经在 DBVisualizer 中验证了这一点。

另一种解决方案是直接在 Java 客户端（非第三方工具）中运行 Spark 代码，并跳过 JDBC 连接的需要。