Apache Spark本机库

Question

我最近能够构建具有本机64位支持的Apache Hadoop 2.5.1。因此，我摆脱了恼人的“本地库警告”。

我正在尝试配置Apache Spark。当我启动spark-shell时，会出现相同的警告：

14/09/14 18:48:42 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

一些技巧：

我必须下载一个预先构建的2.4版本的Spark，因为仍然没有Maven的Hadoop 2.5的配置文件。

以下导出已添加到spark-env.sh：

export HADOOP_CONF_DIR=/opt/hadoop-2.5.1/etc/hadoop

export SPARK_LIBRARY_PATH=/opt/hadoop-2.5.1/lib/native

不适用于spark-shell和spark-submit。我的Hadoop本地安装配置为伪分布式（ResourceManager + YARN支持）。

Answer 1

您应该添加HADOOP_HOME/lib/native到LD_LIBRARY_PATH：

export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native