我可以在CDH中安装多个spark版本吗？

Question

我正在使用已经安装了默认spark的cdh5.1.0.但是,我想使用Spark 1.3.我还可以将此版本安装到cdh5.1.0吗？怎么可能设置它们？是否还会通过Cloudera经理监控新版火花？

Answer 1

是的,您可以运行任何您喜欢的Apache Spark版本.只需确保它是为您拥有的YARN版本(CDH 5.1.0的2.3)而构建的.然后,您可以将应用程序作为YARN应用程序运行spark-submit.(请参阅http://spark.apache.org/docs/latest/running-on-yarn.html.)它将像任何其他YARN应用程序一样受到监控.

Spark根本不需要"安装",只需运行你的应用程序即可.