我在scala中调用一个函数,它给出了一个RDD[(Long,Long,Double)]输出.
def helperfunction(): RDD[(Long, Long, Double)]
我在代码的另一部分循环调用此函数,我想合并所有生成的RDD.调用该函数的循环看起来像这样
for (i <- 1 to n){
val tOp = helperfunction()
// merge the generated tOp
}
我想要做的是类似于StringBuilder在你想要合并字符串时为你做的事情.我已经研究了合并RDD的技术,这些技术主要指向使用这样的union函数
RDD1.union(RDD2)
但是这需要在结合之前生成两个RDD.我虽然初始化一个var RDD1来累积for循环之外的结果,但我不知道如何初始化类型的空白RDD [(Long,Long,Double)].另外我开始使用spark,所以我甚至不确定这是否是解决此问题的最优雅的方法.
怎么可能确定平方整数是否导致溢出.所有大于46340的数字的平方值都大于java的最大整数值.由于java将包围数字平方46431给出-2147479015而平方2147483647给出1,因此进一步复杂化.还不幸的是,我不能在Java 8中执行此操作,因为它会抛出ArithmeticException.那么有没有其他可能的方法来检查整数是否导致整数导致溢出？