如何在 Windows 10 上逐步设置 Spark

Question

我正在尝试在 Windows 10 上设置 spark，在堆栈溢出时找到了很多好的解决方案。因此，我正在尝试结合所有解决方案并创建标准化的安装步骤

Answer 1

首先需要下载以下安装：

1. JAVA JDK - http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

2. SBT 和 Scala - https://www.scala-lang.org/download/

3. Winutils.exe - https://github.com/steveloughran/winutils/tree/master/hadoop-2.7.1

4. 火花 - https://spark.apache.org/downloads.html

下载完成后

安装和设置java

java安装完成后，则：

1. 在 C:\ 下创建文件夹 BigData

2. 从“C:\Program Files\”复制“Java”文件夹 --> “C:\”

3. 然后创建名为“JAVA_HOME”的环境变量。

高级系统设置 --> 环境变量 --> 单击新建按钮

变量名：JAVA_HOME

变量值：C:\Java\jdk1.8.0_181

4. 将bin添加到“路径”，进入高级系统设置-->环境变量-->点击路径-->点击新建-->写入

%JAVA_HOME%\bin

安装和设置 sbt 和 scala

安装sbt和scala，在C:\Bigdata文件夹下，安装完成后用sbt和scala

1. 创建名为“SCALA_HOME”的环境变量。

高级系统设置 --> 环境变量 --> 单击新建按钮

变量名称：SCALA_HOME

变量值：C:\BigData\scala

2. 将bin添加到“Path”，进入高级系统设置-->环境变量-->点击路径-->点击新建-->写入，

   %SCALA_HOME%\bin

为 Windows 设置 Hadoop 库

1. 从上面提到的 git 链接下载 zip，然后从 git 解压下载的文件，然后将winutils.exe从“winutils-master\hadoop-2.7.1\bin”文件夹复制到 C:\Bigdata\hadoop\bin

2. 创建名为“HADOOP_HOME”的环境变量，高级设置 --> 环境变量 --> 点击新建

变量名称：HADOOP_HOME

变量值：C:\BigData\hadoop

3. 将bin添加到"Path"，转到 Advanced Settings --> Environment Variables --> 单击 Path--> 单击 New ，然后写入

%HADOOP_HOME%\bin

安装和设置火花

解压下载的spark包，然后将文件夹复制到C:\Bigdata\，并将复制的文件夹重命名为“spark”。

1. 创建名为“SPARK_HOME”的环境变量，

高级设置 --> 环境变量 --> 点击新建 -->

变量名称：SPARK_HOME

变量值：C:\BigData\spark

2. 将bin添加到Path , 高级设置 --> 环境变量 --> 点击路径 --> 点击新建 --> 写入

%SPARK_HOME%\bin

3. 现在在 C:\ 下创建 /tmp/hive 目录，并通过以下命令设置权限：

打开cmd提示：

mkdir c:\tmp

mkdir c:\tmp\hive

winutils chmod 777 /tmp/hive

现在，设置完成。

转到 cmd 提示符并键入“spark-shell”，以运行 spark。

我面临的一些事情，它给出了问题：

1. 您的计算机名称不应包含下划线，这是给我的错误。

2. 需要安装Java JDK，版本为Java 1.8.0_181

3. 配置了多个 Java 版本，这给我带来了问题，应该只需要配置一个 Java 版本。