在 Spark 中启动 Thrift 服务器

Question

任何人都可以帮助我启动 spark thrift 服务器吗？我在独立模式下运行我的脚本，我想在我的商业智能工具中获取数据。

为了做到这一点，我需要启动节俭服务器。我尝试运行 shell 脚本：

$SPARK_HOME/sbin/start-thriftserver.sh

但我收到一个错误：

错误“ps 未知选项--0”

Answer 1

在 Spark 2.2.1 中

cd %SPARK_HOME%\bin
spark-class org.apache.spark.deploy.SparkSubmit --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 spark-internal

这在 Windows 中启动了 spark thrift 服务器。在另一个终端中运行以下 beeline 命令以打开 jdbc 连接

cd %SPARK_HOME%\bin
beeline -u jdbc:hive2://localhost:10000

Answer 2

这些sbin/脚本在 linux 下运行良好，但它们不准备在 Windows 中运行（请参阅Failed to start master for Spark in Windows）。但是 spark thriftserver 可以使用以下命令在独立于操作系统的前台启动：

java -cp conf/:jars/* org.apache.spark.deploy.SparkSubmit --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 spark-internal

然后您可以使用随 spark 提供的直线测试连接：

$ ./bin/beeline -u jdbc:hive2://localhost:10000
Connecting to jdbc:hive2://localhost:10000
16/11/22 13:09:57 INFO Utils: Supplied authorities: localhost:10000
16/11/22 13:09:57 INFO Utils: Resolved authority: localhost:10000
16/11/22 13:09:57 INFO HiveConnection: Will try to open client transport with JDBC Uri: jdbc:hive2://localhost:10000
Connected to: Spark SQL (version 2.0.1)
Driver: Hive JDBC (version 1.2.1.spark2)
Transaction isolation: TRANSACTION_REPEATABLE_READ
Beeline version 1.2.1.spark2 by Apache Hive
0: jdbc:hive2://localhost:10000> show databases;
+---------------+--+
| databaseName  |
+---------------+--+
| default       |
| elo           |
+---------------+--+
2 rows selected (0,26 seconds)