Hel*_*ena 3 amazon-web-services amazon-emr apache-spark pyspark
我EMR 4.0在AWS中创建了一个包含所有可用应用程序的实例Spark.我是通过AWS控制台手动完成的.我启动了集群,并在它启动时连接到主节点.我跑了pyspark.pyspark尝试创建时出现以下错误SparkContext:
2015-09-03 19:36:04,195 ERROR Thread-3 spark.SparkContext(Logging.scala:logError(96)) - - ec2-user,access = WRITE,inode ="/ user":hdfs:hadoop:drwxr- xr-x at
org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkFsPermission(FSPermissionChecker.java:271)
我没有添加任何自定义应用程序,也没有自举,并期望一切正常工作.不知道发生了什么事.任何建议将不胜感激.
以"hadoop"用户身份登录(http://docs.aws.amazon.com/ElasticMapReduce/latest/ManagementGuide/emr-connect-master-node-ssh.html).它具有按预期工作的所有适当环境和相关设置.您收到的错误是由于以"ec2-user"身份登录.