小编Mr.*_*hoi的帖子

当我在yarn-client中放入'val lines = sc.textFile("hdfs:/// input")'时,'无法调用已停止的SparkContext上的方法'错误.我整天搜索了两天,但我不知道原因在哪里."hdfs:/// input"是对的,因为当我在独立模式下执行它时,我工作得很好.

你能告诉我一个吗？我正在使用spark 1.5.2,hadoop 2.7.2.

tarting org.apache.spark.deploy.master.Master, logging to /opt/spark-1.5.2-bin-hadoop2.6/sbin/../logs/spark-root-org.apache.spark.deploy.master.Master-1-master.out
192.168.111.203: starting org.apache.spark.deploy.worker.Worker, logging to /opt/spark-1.5.2-bin-hadoop2.6/sbin/../logs/spark-root-org.apache.spark.deploy.worker.Worker-1-slave2.out
192.168.111.202: starting org.apache.spark.deploy.worker.Worker, logging to /opt/spark-1.5.2-bin-hadoop2.6/sbin/../logs/spark-root-org.apache.spark.deploy.worker.Worker-1-slave1.out
[root@master spark-1.5.2-bin-hadoop2.6]# bin/spark-shell --master yarn-client
16/03/19 05:59:12 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
16/03/19 05:59:12 INFO spark.SecurityManager: Changing view acls to: root
16/03/19 05:59:12 INFO spark.SecurityManager: Changing modify acls to: root
16/03/19 05:59:12 INFO spark.SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: …

我正在尝试设置 spark，但我不知道用户提供的 Hadoop 的含义。为什么“选择包类型”菜单显示“使用用户提供的 Hadoop”，而“下载 Spark”菜单显示“spark-1.6.0-bin- without -hadoop.tgz”。

我很困惑是否需要或不需要hadoop。

我正在使用 java SE eclipse。据我所知，当没有由参数命名的文件时 FileOutputStream 构造函数创建由参数命名的新文件。但是，随着继续，我看到 FileOutputStream 产生异常 FileNotFoundException。我真的不知道为什么需要这个例外。我的知识有问题吗？

我的代码如下（制作工作簿并写入文件。在此代码中，虽然没有文件“data.xlsx”，但 FileOutpuStream 制作文件“data.xlsx”。

    public ExcelData() {
    try {
        fileIn = new FileInputStream("data.xlsx");
        try {
            wb = WorkbookFactory.create(fileIn);
            sheet1 = wb.getSheet(Constant.SHEET1_NAME);
            sheet2 = wb.getSheet(Constant.SHEET2_NAME);
        } catch (EncryptedDocumentException | InvalidFormatException | IOException e) {
            e.printStackTrace();
        } // if there is file, copy data into workbook
    } catch (FileNotFoundException e1) {
        initWb();
        try {
            fileOut = new FileOutputStream("data.xlsx");
            wb.write(fileOut);
        } catch (FileNotFoundException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } 

    } // …