在 AWS EMR 上设置 Spark Thrift 服务器以建立 JBDC/ODBC 连接

Sau*_*ick 3 amazon-emr

如何在 EMR 上设置 Spark Thrift 服务器?我正在尝试使用 Spark Thrift Server 与 EMR 建立 JDBC/ODBC 连接。例如

直线> !connect jdbc:hive2://10.253.3.5:10015

我们执行以下命令来重新启动 Hive-Server2 -

sudo 停止 hive-server2 sudo 停止 hive-hcatalog-server sudo 启动 hive-hcatalog-server sudo 启动 hive-server2

不确定在 AWS EMR 上重新启动 Spark Thrift Server 的服务是什么以及如何设置用户 ID 和密码。

Sau*_*ick 5

我们需要通过在 EMR 上执行以下命令来启动 Spark thrift 服务器:

sudo /usr/lib/spark/sbin/start-thriftserver.sh --master 纱线客户端

默认端口为 10001

测试连接如下 - /usr/lib/spark/bin/beeline -u 'jdbc:hive2://xxxx:10001/default' -e "显示数据库;"

Spark JDBC 驱动程序可用于从任何应用程序连接到 Thrift 服务器