我试图有效地连接两个DataFrame,其中一个是大的,第二个是小一点.
有没有办法避免这一切洗牌？我无法设置autoBroadCastJoinThreshold,因为它只支持整数 - 我尝试广播的表略大于整数个字节.
autoBroadCastJoinThreshold
有没有办法迫使广播忽略这个变量？
dataframe apache-spark apache-spark-sql apache-spark-1.4
我应该使用哪个端口来访问Google Dataproc上的Spark UI？
我尝试了端口4040和7077以及我发现使用的一堆其他端口 netstat -pln
netstat -pln
防火墙配置正确.
apache-spark google-cloud-dataproc
apache-spark ×2
apache-spark-1.4 ×1
apache-spark-sql ×1
dataframe ×1
google-cloud-dataproc ×1