相关疑难解决方法(0)

根据Spark on Mesos文档,需要设置spark.executor.uri指向Spark分发:

val conf = new SparkConf()
  .setMaster("mesos://HOST:5050")
  .setAppName("My app")
  .set("spark.executor.uri", "<path to spark-1.4.1.tar.gz uploaded above>")

文档还指出,可以构建Spark发行版的自定义版本.

我现在的问题是,是否有可能/希望预先打包外部库,例如

• 火花流,卡夫卡
• elasticsearch火花
• 火花CSV

这将主要被用于所有的作业罐子,我会通过提交spark-submit到

• 减少sbt assembly包装脂肪罐的时间
• 减少需要提交的脂肪罐的大小

如果是这样,怎么能实现呢？一般来说,是否有一些关于如何加快工作提交过程中脂肪罐生成速度的提示？

背景是我想为Spark作业运行一些代码生成,并立即提交这些代码并在浏览器前端异步显示结果.前端部分不应该太复杂,但我想知道后端部分是如何实现的.