我正在使用AWS Batch,我发现根卷的大小对于我的任务来说太低了.
我尝试创建一个新的计算环境/作业队列,但没有任何选项来设置卷大小.我尝试从此处更改启动配置,但AWS Batch不考虑新的启动配置和/或自动扩展组.我可能不得不改变dm.basesize,但目前还不清楚应该在哪里做.
所以,我建立了一个自定义的AMI从Amazon 2 Linux上的500 GB的存储空间,并改变了--storage-opt与dm.basesize=400GB所指示的位置,但是,虽然我的情况下被催生,作业留在RUNNABLE状态下去.我检查了这里定义的可能原因,但是i)"启用自动分配公共IPv4地址"被检查,ii)图像应该是好的(它已经在创建环境时被验证并且可以生成),iii)I这样的实例类型有5个实例的限制(但我甚至无法运行1),iv)我的角色权限应该没问题 - 我成功使用了默认的amazonlinux映像的相同角色,v)资源不足(实例得到)产生,所以我认为这不应该是问题),vi)连接 - 它应该工作,因为自动缩放组显示一个成功的状态.
一种可能的解决方案可能是在运行时附加特定的AWS卷,但它会受到限制,我想找到一个自动解决方案,因为我必须管理多个卷以进行并行执行.
我也尝试通过管道来自s3桶的输入执行任务,分析数据和管道输出到第二个s3桶,但每次都得到Connection Reset by Peer错误,可能是因为任务运行的时间太长(我也设置--cli-read-timeout为0)但它根本没有解决它.
有没有办法为AWS批处理中的作业配置根卷大小？
我们设置了批处理计算环境、作业队列和作业定义。计算环境的最小 CPU 设置为 16，因此它应该始终至少有一个 EC2 实例在运行。这是一个MANAGED环境。它还没有开始任何工作，但一切仍然报告健康。我查看了故障排除页面，但还没有发现任何有用的信息。
我可以去哪里查看出了什么问题？这完全是一个黑匣子吗？如果我在配置中的某个地方犯了错误（可能是某种 ARN 权限问题），我必须扫描每一行，直到碰巧看到错误为止？