小编pro*_*ore的帖子

Spark独立集群看起来正在运行而没有问题:

http://i.stack.imgur.com/gF1fN.png

我按照本教程.

我已经构建了一个胖jar来在集群上运行这个JavaApp.在maven包之前:

find .

./pom.xml
./src
./src/main
./src/main/java
./src/main/java/SimpleApp.java

SimpleApp.java的内容是:

 import org.apache.spark.api.java.*;
 import org.apache.spark.api.java.function.Function;
 import org.apache.spark.SparkConf;
 import org.apache.spark.SparkContext;


 public class SimpleApp {
 public static void main(String[] args) {

 SparkConf conf =  new SparkConf()
                   .setMaster("spark://10.35.23.13:7077")
                   .setAppName("My app")
                   .set("spark.executor.memory", "1g");

 JavaSparkContext   sc = new JavaSparkContext (conf);
 String logFile = "/home/ubuntu/spark-0.9.1/test_data";
 JavaRDD<String> logData = sc.textFile(logFile).cache();

 long numAs = logData.filter(new Function<String, Boolean>() {
  public Boolean call(String s) { return s.contains("a"); }
 }).count();

 System.out.println("Lines with a: " + numAs); 
 }
 } …

我正在尝试建立一个Apache Mesos集群并在其上运行Hadoop-Job.这里的文档 不是我的水平,所以我无法理解,也许这里有人可以解释我:

首先,我应该建立一个有效的Hadoop集群吗？或者首先建立一个Mesos集群？我在哪里指向奴隶？在Hadoop-slaves文件或注册的Mesos从属服务器应该只使用？