Spark:如何增加奴隶的驱动器大小

Question

如何启动具有每个具有100GB驱动器的从属的群集.

./spark-ec2 -k xx -i xx.pem -s 1 --hadoop-major-version=yarn --region=us-east-1 \
--zone=us-east-1b  --spark-version=1.6.1 \
--vpc-id=vpc-xx --subnet-id=subnet-xx --ami=ami-yyyyyy \
 launch cluster-test

我使用了大小为100GB的AMI; 然而,Spark调整了大小并启动​​了8GB驱动器.如何将此限制增加到100GB？

Answer 1

这解决了问题，但问题仍然寻求答案以避免首先出现此问题。

事实证明，EBS 卷为 100GB，但其上的镜像只有 8GB。这就是为什么它只被视为 8GB。为了将图像传播到磁盘上，本博客详细描述了如何做到这一点。另外，这个SO答案也很有帮助。