小编cxc*_*xco的帖子

spark.yarn.driver.memoryOverhead或spark.yarn.executor.memoryOverhead用于存储什么样的数据?

我想知道:

  • spark使用spark.yarn.driver.memoryOverhead或spark.yarn.executor.memoryOverhead来存储什么样的数据?
  • 在这种情况下,我应该提高spark.yarn.driver.memoryOverhead或spark.yarn.executor.memoryOverhead的价值?

hadoop-yarn apache-spark

3
推荐指数
1
解决办法
3219
查看次数

如何使用spark sql比较两个表?

现在我需要使用 Spark sql 来比较两个表,我找到了一个 sql 服务器的答案,如下所示:

(SELECT *
 FROM   table1
 EXCEPT
 SELECT *
 FROM   table2)
UNION ALL
(SELECT *
 FROM   table2
 EXCEPT
 SELECT *
 FROM   table1) 
Run Code Online (Sandbox Code Playgroud)

希望有人能告诉我如何在sql server中使用这样的spark sql?(不用关心特殊的col,只需使用*)

mysql sql-server apache-spark-sql

2
推荐指数
1
解决办法
8533
查看次数