我试图有效地连接两个DataFrame,其中一个是大的,第二个是小一点.
有没有办法避免这一切洗牌？我无法设置autoBroadCastJoinThreshold,因为它只支持整数 - 我尝试广播的表略大于整数个字节.
autoBroadCastJoinThreshold
有没有办法迫使广播忽略这个变量？
dataframe apache-spark apache-spark-sql apache-spark-1.4
apache-spark ×1
apache-spark-1.4 ×1
apache-spark-sql ×1
dataframe ×1