Spark SQL语句广播

Question

有没有办法在Spark SQL语句中使用广播？

例如:

SELECT
    Column
FROM
    broadcast (Table 1)
JOIN
    Table 2
ON
    Table1.key = Table2.key

在我的例子中,表1也是一个子查询.

Answer 1

以下是广播连接的语法：

SELECT /*+ BROADCAST(Table 2) */ COLUMN
FROM Table 1 join Table 2
on Table1.key= Table2.key

要检查广播连接是否发生，您可以在 SQL 选项卡中检查 Spark UI 端口号 18080。
我们需要确保广播连接是否实际工作的原因是因为之前我们使用了以下语法：/* BROADCASTJOIN(Table2) */ 没有抛出语法错误，但在 UI 中它正在执行排序合并连接
因此，必须确保我们的连接按预期工作

Answer 2

在Spark 2.2或更高版本中,您可以使用计划器提示:

SELECT  /*+ MAPJOIN(Table1) */ COLUMN
FROM Table1 JOIN Table2
ON Table1.key = Table2.key