Spark - 如何使用 - Thirft - Hive Interactor获取逻辑/物理查询执行

Question

Spark - 如何使用以下方法执行逻辑/物理查询执行

1. 通过Thrift
2. 通过SparkInteractor

Answer 1

您可以通过节俭在beeline中将查询语句与以下说明一起使用。

EXPLAIN EXTENDED select * from sr23 join sr12 [<join condidtion>]

你是什​​么意思是火花拦截器？是spark-sql shell吗？如果是，则可以使用上面的查询。

如果您要使用“火花壳”，则需要在数据帧上调用explain（）函数。

例如：

val df1 = sqlContext.sql(" < your sql query > ");

df1.explain;

这将给出物理和逻辑计划。您也可以从“ SQL”选项卡中的spark Web UI看到它们。