我已经部署了一个由Apache Spark引导的3节点AWS ElasticMapReduce集群.从我的本地机器,我可以通过SSH 访问主节点:
ssh -i <key> hadoop@ec2-xx-xxx-xxx-xxx.compute-1.amazonaws.com
ssh进入主节点后,我可以通过访问PySparkpyspark.此外,(虽然不安全)我已经配置了我的主节点的安全组,以接受来自本地计算机的IP地址的TCP流量,特别是在端口上7077.
但是,我仍然无法将本地 PySpark实例连接到我的集群:
MASTER=spark://ec2-master-node-public-address:7077 ./bin/pyspark
上面的命令会导致许多异常,并导致PySpark无法初始化SparkContext对象.
有谁知道如何成功创建一个远程连接,就像我上面描述的那样？