小编Shi*_*har的帖子

如何在ubuntu中安装spark独立模式

我正在尝试独立安装 Spark 但显示错误。我怎样才能解决这个问题。

  • Java版本:- 1.8.0_131
  • 火花:- 2.2.0
  • Hadoop:2.7.4
  • bashrc文件设置
  • 本地系统中的 Hadoop 文件位置:/usr/lib/hadoop/hadoop-2.7.4
  • 火花文件位置:/opt/spark/spark

文件:

-----------------------------
#JAVA HOME directory setup
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$PATH:$JAVA_HOME/bin

#HBASE HOME setup
export HBASE_HOME=/usr/lib/hbase/hbase-1.3.1
export PATH=$PATH:$HBASE_HOME/bin

#HADOOP Setup
export HADOOP_HOME=/usr/lib/hadoop/hadoop-2.7.4
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME  
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_PID_DIR=$HADOOP_HOME/hadoop2_data/hdfs/pid

#spark setup
export SPARK_HOME=/opt/spark/spark
export PATH=$SPARK_HOME/bin:$PATH
#scala 
export SCALA_HOME=/usr/local/src/scala/scala-2.11.11
export PATH=$SCALA_HOME/bin:$PATH
------------------------------------------------------------
Run Code Online (Sandbox Code Playgroud)

在此输入图像描述

hadoop

5
推荐指数
1
解决办法
207
查看次数

标签 统计

hadoop ×1