为什么在Spark而不是Spark-SQL上使用Hive?

Nor*_*ane 1 hive bigdata apache-spark apache-spark-sql

我是数据科学领域的新手,我不明白为什么有人想要将Hive连接到Spark而不是仅仅使用Sqark-SQL.

在Spark上使用Hive而不是Spark-SQL有什么好处(除了能够在生产中使用Hive代码)?

谢谢

小智 5

上面的答案是不正确的.Hive和SparkSQL之间常见的一个组件是SemanticAnalyzer.Hive具有明显更好的SQL支持和更复杂的基于成本的优化器.我的建议是在Tez上使用Hive,而不是使用Spark或SparkSQL上的Hive,因为它是生产就绪,更稳定和可扩展的.