小编Nic*_*son的帖子

在当前的项目中,我构建了用于与特定数据源交互的Python代码; 现在,我正在构建一个Scala版本.

我重新安排了一些事情,以便所有Python代码都存在于src/main/python我的Scala代码的SBT项目中,但这让我想到:有没有什么好方法可以在两者之间集成项目管理？设置SBT以便我可以将Python distutils安装/ sdist生成或sphinx文档生成作为SBT任务运行？

或者,更一般地说:是否有通过SBT运行任意系统任务的标准方法？

我正试图通过Yarn在CDH5.4集群上运行Spark 1.4.1作业.序列化设置为使用Kryo.

我有一个大对象,我作为广播发送给执行者.该对象似乎序列化很好.然而,当它试图反序列化时,Kryo会抛出一个类似于ClassNotFoundException我的胖罐中的类spark-submit.

什么可能导致Kryo对执行程序的这个类路径问题？我应该在哪里开始尝试诊断问题？我感谢您提供的任何帮助.

更新:由于某种原因,我提交的jar文件spark-submit未添加到类路径中.我检查了节点管理器目录,它正在被上传 - 它被重命名__app__.jar,并通过符号链接放入容器工作目录中.__spark__.jar包含spark程序集的文件位于同一目录中,并且IS包含在类路径中.包含它的文件夹也包含在内.

当我在本地模式下运行时,我提交的jar被尽职尽责地包含在类路径的用户添加元素中.

什么可能导致这个？