spark-ec2 --ebs-vol-size不工作

Question

使用时启动火花簇spark-ec2,该--ebs-vol-size标志似乎无效.使用50或设置它500然后ssh'ing进入主节点,a df -h显示大约10G的空间/.

如何使用spark-ec2创建更大的EC2虚拟机？

Answer 1

下面提供了一些精心设计的步骤列表,对我有用 -

1. 使用--ebs-vol-size启动spark-ec2群集

2. 关闭hadoop on ./ephemeral-hdfs

   ./ephemeral-hdfs/bin/stop-all.sh

3. 在./persistent-hdfs上启动hadoop

   ./persistent-hdfs/bin/start-all.sh

4. 您可以验证当前大小是否未反映所请求的ebs卷大小

   ./persistent-hdfs/bin/hadoop dfsadmin -report

5. 运行以下命令(建议将它们放入脚本中)并运行它 -

   ./persistent-hdfs/bin/stop-all.sh

   sed -i的#vol/persistent-hdfs#vol0/persistent-hdfs#g'~/persistent-hdfs/conf/core-site.xml

   ./spark-ec2/copy-dir.sh~/ persistent-hdfs/conf/core-site.xml

   ./spark-ec2/copy-dir.sh~/ persistent-hdfs/conf/hdfs-site.xml

   ./persistent-hdfs/bin/hadoop namenode -format

   ./persistent-hdfs/bin/start-all.sh

6. 重复步骤4以验证大小

学分 - brendancol的要点参考