标签: hadoop

我正在使用 Windows 10 并尝试安装 Hadoop

我是从这里下载的。

尝试为文件 (libhdfs.so和libhadoop.so)提取 Hadoop时，出现错误。

Cannot create symbolic link : Access is denied

我该如何解决？

如何/etc/hostname/在启动时自动将 Ubuntu 服务器 VM 设置为 VM 分配的 IP 地址的值？

我正在创建一个 Ubuntu 服务器 VM 映像来运行 Hadoop。当客户端与 Hadoop 交互时，它会返回集群中节点的地址（即使在这种情况下它们都是同一台机器上的进程）供客户端交互。这些地址是由 Java 的主机名解析决定的，我认为这根本不可靠。有人建议我最好的方法是设置/etc/hostname/为唯一网络接口的分配 IP 地址。或者，可能有一种设置环境变量的方法，然后将其传递给运行每个 Hadoop 进程的 JVM。

我尝试使用scp带有选项的命令-i将文件从本地计算机传输到远程 EC2 实例：

Akhis-Macbook-Pro:~ aswinakhilesh$ sudo scp -i Mykey.pem FileA ec2-user@ec2-23-20-46-45.compute-1.amazonaws.com:/home/FileA

我收到以下消息，而不是复制文件：

 Agent pid 2624

Akhis-Macbook-Pro:~ aswinakhilesh$ Identity added:
/home/.ssh/id_rsa (/home/id_rsa)

我.ssh在 ec2 实例中的文件夹包含以下文件：

authorized_keys  
id_rsa  [Same as Mykey.pm, which is used with the -i option before]
known_hosts

如果有人能在这里帮助我，那就太好了！

我一直在努力让 PySpark 工作。我在 Windows?10 机器上使用 PyCharm IDE。对于设置，我采取了以下步骤：

• 安装了 PySpark
• 已安装 Java 8u211
• 下载并粘贴 winutils.exe
• 在 Path 中声明了 SPARK_HOME、JAVA_HOME 和 HADOOP_HOME
• 将 spark 文件夹和 zips 添加到 Content Root
• 已经尝试过：export SPARK_LOCAL_IP="127.0.0.1"在 load-spark-env.sh 和其他与主机名相关的解决方案中

从 cmd 启动时发生以下错误（从 PyCharm 内部运行产生相同的结果）。我怎样才能解决这个问题？

错误信息：

Python 3.7.1 (default, Dec 10 2018, 22:54:23) [MSC v.1915 64 bit (AMD64)] :: Anaconda, Inc. on win32  
Type "help", "copyright", "credits" or "license" for more information.  
19/05/14 21:33:19 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes …