小编Ant*_*cue的帖子

Spark 2:调用SparkSession enableHiveSupport()时如何工作

我的问题很简单,但是以某种方式我无法通过阅读文档找到明确的答案。

我在CDH 5.10群集上运行了Spark2。还有Hive和Metastore。

我在Spark程序中创建一个会话,如下所示:

SparkSession spark = SparkSession.builder().appName("MyApp").enableHiveSupport().getOrCreate()
Run Code Online (Sandbox Code Playgroud)

假设我有以下HiveQL查询:

spark.sql("SELECT someColumn FROM someTable")
Run Code Online (Sandbox Code Playgroud)

我想知道是否:

  1. 在后台将这个查询翻译为Hive MapReduce原语,或者
  2. 对HiveQL的支持仅在语法上,Spark SQL将在后台使用。

我正在做一些性能评估,我不知道是否应该声明使用spark.sql([hiveQL query])Spark或Hive 执行的查询的时间性能。

hive hiveql apache-spark apache-spark-sql

4
推荐指数
3
解决办法
4522
查看次数

标签 统计

apache-spark ×1

apache-spark-sql ×1

hive ×1

hiveql ×1