我的目标是在Ubuntu 12.4上运行hadoop 2.2.0.我能够做到但是当我运行以下命令时: rushi @ ubuntu:/ usr/local/hadoop $ sbin/start-dfs.sh
我的dfs正在启动namenode,scondarynamenode和datanode,但问题是我正在遵循警告
rushi@ubuntu:/usr/local/hadoop$ sbin/start-dfs.sh
14/01/24 12:05:46 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /usr/local/hadoop-2.2.0/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.
It's highly recommended that you fix the library with 'execstack -c <libfile>', or link it with '-z noexecstack'.
localhost]
sed: -e …这可能是一个新手问题。这是我的场景。
我在我的机器上安装了火花。我还没有启动它（使用 sbin/start-all.sh 或 sbin 文件夹中的任何其他脚本）。然后我打开 pyspark （使用 bin/pyspark），它启动没有任何错误。我尝试运行示例程序：
>>> var=sc.textFile('/home/rushikesh/sam.txt')
>>> var.count()
它工作正常，没有任何错误。
问题1：执行pyspark/spark-shell程序不需要spark running吗？
问题2：或者只有Spark-submit需要spark来启动？
如果我遗漏了什么，请澄清。