标签: aws-batch

我写了一个从s3存储桶触发的lambda，以解压缩zip文件并处理其中的文本文档。由于lambda内存的限制，我需要将流程移至类似AWS Batch的位置。如果我错了，请纠正我，但我的工作流程应如下所示。

工作流程

我相信我需要编写一个lambda来将s3存储桶的位置放在亚马逊SQS上，因为AWS批处理可以读取该位置并进行所有解压缩/数据处理，因为它们的内存更大。

这是我当前的lambda，它接收由s3存储桶触发的事件，检查它是否是一个zip文件，然后将该s3键的名称推送到SQS。我应该告诉AWS Batch在我的lambda中开始读取队列吗？一般而言，我对AWS完全陌生，不确定从这里开始。

public class dockerEventHandler implements RequestHandler<S3Event, String> {

private static BigData app = new BigData();
private static DomainOfConstants CONST = new DomainOfConstants();
private static Logger log = Logger.getLogger(S3EventProcessorUnzip.class);

private static AmazonSQS SQS;
private static CreateQueueRequest createQueueRequest;
private static Matcher matcher;
private static String srcBucket, srcKey, extension, myQueueUrl;

@Override
public String handleRequest(S3Event s3Event, Context context) 
{
    try {
        for (S3EventNotificationRecord record : s3Event.getRecords())
        {
            srcBucket = record.getS3().getBucket().getName();
            srcKey = record.getS3().getObject().getKey().replace('+', ' ');
            srcKey = URLDecoder.decode(srcKey, "UTF-8"); …

嗨，我已经安排了一个 Cloudwatch规则，以便通过将 AWS Batch 作为目标在每周三 GTM 14.15 运行，它总是返回FailedInvocation。我看到来自关联指标的 FailedInvocation 事件

但是没有关于错误的日志，我无法理解这个问题。

我遵循了本教程：https : //docs.aws.amazon.com/batch/latest/userguide/batch-cwe-target.html 我从几个小时就被困在这里有什么建议吗？

配置

AWS 批处理目标配置如下：

• 作业队列= arn:..
• 工作定义 = arn:...
• 职位名称 =姓名

与目标关联的角色具有以下策略：

• arn:aws:iam::aws:policy/service-role/AWSBatchServiceEventTargetRole

  {
  "Version": "2012-10-17",
  "Statement": [
      {
          "Effect": "Allow",
          "Action": [
              "batch:SubmitJob"
          ],
          "Resource": "*"
      }
    ]
    }
  

  Run Code Online (Sandbox Code Playgroud)

• arn:aws:iam::216314997889:role/awsInvokeActionOnEc2

  {
  "Version": "2012-10-17",
  "Statement": [
      {
          "Effect": "Allow",
          "Action": [
              "cloudwatch:Describe*",
              "ec2:Describe*",
              "ec2:RebootInstances",
              "ec2:StopInstances",
              "ec2:TerminateInstances"
          ],
          "Resource": "*"
      }
  ]
  }
  

  Run Code Online (Sandbox Code Playgroud)

• 和信任关系

  {
  "Version": "2012-10-17",
  "Statement": …

  Run Code Online (Sandbox Code Playgroud)

我正在尝试将我的弹性文件系统(EFS)安装在我的docker容器中,以便它可以与AWS批处理一起使用.这是我做的:

1. 创建针对弹性容器服务(ECS)进行了优化的新AMI.我在这里遵循了这个指南,以确保它有ECS.我还将mount挂载到/etc/fstab文件中,并在重启后验证我的EFS是否正在挂载(/ mnt/efs).

2. 用我的新AMI测试了EC2实例并验证我可以拉出docker容器并通过它传递我的挂载点

docker run --volume /mnt/efs:/home/efs -it mycontainer:latest

以交互方式运行docker镜像会在efs中显示我的数据

3. 使用我的新AMI 设置新的计算环境,该AMI在引导时安装EFS.

4. 创建JOB定义文件:

   {
   "jobDefinitionName": "MyJobDEF",
   "jobDefinitionArn": "arn:aws:batch:us-west-2:#######:job-definition/Submit:8",
   "revision": 8,
   "status": "ACTIVE",
   "type": "container",
   "parameters": {},
   "retryStrategy": {
       "attempts": 1
   },
   "containerProperties": {
       "image": "########.ecr.us-west-2.amazonaws.com/mycontainer",
       "vcpus": 1,
       "memory": 100,
       "command": [
           "ls",
           "/home/efs",
       ],
       "volumes": [
           {
               "host": {
                   "sourcePath": "/mnt/efs"
               },
               "name": "EFS"
           }
       ],
       "environment": [],
       "mountPoints": [
           {
               "containerPath": "/home/efs",
               "readOnly": false,
               "sourceVolume": "EFS"
           }
       ],
       "ulimits": []
   } …

   Run Code Online (Sandbox Code Playgroud)

我有一个现有的 AWS Steps 编排，它通过 lambdas 执行 AWS Batch 作业。但是，AWS 最近添加了从一个步骤直接调用其他服务（如 AWS Batch）的功能。我很想使用这个新功能，但无法让它工作。

https://docs.aws.amazon.com/step-functions/latest/dg/connectors-batch.html

所以我想用来调用 Batch 的新步骤操作。

"File Copy": {
  "Type": "Task",
  "Resource": "arn:aws:states:::batch:submitJob.sync",
  "Parameters": {
     "JobName": "MyBatchJob",
     "JobQueue": "MySecondaryQueue",
     "ContainerOverrides.$": "$.lts_job_container_overrides",
     "JobDefinition.$": "$.lts_job_job_definition",
  },
  "Next": "Upload Start"
}

请注意，我正在尝试使用 $. JSONpath 语法，以便动态地通过步骤传递参数。

当给出以下输入时

"lts_job_container_overrides": {
  "environment": [
    {
      "name": "MY_ENV_VARIABLE",
      "value": "XYZ"
    },
  ],
  "command": [
    "/app/file_copy.py"
  ]
},
"lts_job_job_definition": "MyBatchJobDefinition"

我预计环境和命令值将传递给 AWS Batch 中的相应参数 (ContainerOverrides)。相反，AWS Steps 似乎试图将它们提升为顶级参数 - 然后抱怨它们无效。

{
 "error": "States.Runtime",
 "cause": "An error occurred while executing the …

在创建批处理作业时，我们可以在容器属性中提供vCPU和内存。