我的问题很简单,但是以某种方式我无法通过阅读文档找到明确的答案。
我在CDH 5.10群集上运行了Spark2。还有Hive和Metastore。
我在Spark程序中创建一个会话,如下所示:
SparkSession spark = SparkSession.builder().appName("MyApp").enableHiveSupport().getOrCreate()
Run Code Online (Sandbox Code Playgroud)
假设我有以下HiveQL查询:
spark.sql("SELECT someColumn FROM someTable")
Run Code Online (Sandbox Code Playgroud)
我想知道是否:
我正在做一些性能评估,我不知道是否应该声明使用spark.sql([hiveQL query])Spark或Hive 执行的查询的时间性能。