OutofMemoryErrory用sbt组装创建胖罐

Question

我们正在尝试制作一个包含一个小scala源文件和大量依赖项的胖jar文件(使用spark和cassandra的简单mapreduce示例):

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import com.datastax.spark.connector._
import org.apache.spark.SparkConf

object VMProcessProject {

    def main(args: Array[String]) {
        val conf = new SparkConf()
            .set("spark.cassandra.connection.host", "127.0.0.1")
             .set("spark.executor.extraClassPath", "C:\\Users\\SNCUser\\dataquest\\ScalaProjects\\lib\\spark-cassandra-connector-assembly-1.3.0-M2-SNAPSHOT.jar")
        println("got config")
        val sc = new SparkContext("spark://US-L15-0027:7077", "test", conf)
        println("Got spark context")

        val rdd = sc.cassandraTable("test_ks", "test_col")

        println("Got RDDs")

        println(rdd.count())

        val newRDD = rdd.map(x => 1)
        val count1 = newRDD.reduce((x, y) => x + y)

    }
}

我们没有build.sbt文件,而是将jar放入src/main/scala目录中的lib文件夹和源文件,并使用sbt run运行.我们的assembly.sbt文件如下所示:

addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.13.0")

当我们运行sbt程序集时,我们收到以下错误消息:

...
java.util.concurrent.ExecutionException: java.lang.OutOfMemoryError: java heap space
    at java.util.concurrent...

我们不确定如何更改jvm设置以增加内存,因为我们使用sbt程序集来制作jar.此外,如果我们编写代码或构建我们的项目时出现了一些极其错误的问题,这些项目也会帮助我们.尝试建立一个基本的火花程序有很多令人头疼的问题!

Answer 1

sbt本质上是一个java进程.您可以尝试调整OutOfMemory问题的sbt运行时堆大小.

对于0.13.x,sbt使用的默认内存选项是

-Xms1024m -Xmx1024m -XX:ReservedCodeCacheSize=128m -XX:MaxPermSize=256m.

你可以通过做类似的事来扩大堆大小

sbt -J-Xms2048m -J-Xmx2048m assembly

Answer 2

我将spark作为一个非托管依赖项(将jar文件放在lib文件夹中)包含了大量内存,因为它是一个巨大的jar.

相反,我创建了一个build.sbt文件,其中包含spark作为提供的非托管依赖项.
其次,我JAVA_OPTS使用值创建了环境变量,该值-Xms256m -Xmx4g将最小堆大小设置为256兆字节,同时允许堆增长到最大大小为4千兆字节.这两个组合允许我创建一个jar文件sbt assembly

有关提供的依赖项的更多信息:

https://github.com/sbt/sbt-assembly