标签: spark-ec2

我想知道是否可以在spark-ec2创建集群时更改hadoop版本？

我试过了

spark-ec2 -k spark -i ~/.ssh/spark.pem -s 1 launch my-spark-cluster

然后我登录

spark-ec2 -k spark -i ~/.ssh/spark.pem login my-spark-cluster

并发现hadoop版本是1.0.4.

我想使用2.x版本的hadoop,配置它的最佳方法是什么？

如何启动具有每个具有100GB驱动器的从属的群集.

./spark-ec2 -k xx -i xx.pem -s 1 --hadoop-major-version=yarn --region=us-east-1 \
--zone=us-east-1b  --spark-version=1.6.1 \
--vpc-id=vpc-xx --subnet-id=subnet-xx --ami=ami-yyyyyy \
 launch cluster-test

我使用了大小为100GB的AMI; 然而,Spark调整了大小并启动​​了8GB驱动器.如何将此限制增加到100GB？