我EMR 4.0在AWS中创建了一个包含所有可用应用程序的实例Spark.我是通过AWS控制台手动完成的.我启动了集群,并在它启动时连接到主节点.我跑了pyspark.pyspark尝试创建时出现以下错误SparkContext:
2015-09-03 19:36:04,195 ERROR Thread-3 spark.SparkContext(Logging.scala:logError(96)) - - ec2-user,access = WRITE,inode ="/ user":hdfs:hadoop:drwxr- xr-x at
org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkFsPermission(FSPermissionChecker.java:271)
我没有添加任何自定义应用程序,也没有自举,并期望一切正常工作.不知道发生了什么事.任何建议将不胜感激.