标签: aws-step-functions

背景

我有一个 API 网关端点，它代理 Lambda 函数 (Lambda A)，供我的 React 应用程序获取客户数据。

此 lambda 函数进行 API 调用来获取客户数据，但响应的格式还有很多不足之处。所以我想重新格式化它。

我没有将这种重新格式化逻辑填充到 Lambda A 中，而是编写了一个单独的 Lambda 函数 (Lambda B)。当我的 API 网关端点被命中时，我需要调用这两个函数，第一个函数的输出是第二个函数的输入。

第一个想法：阶跃函数

Step 函数看起来很自然，但可以在阶段之间传递的数据有效负载的大小有 32kb 的限制。我们的 json blob 客户数据经常超出此范围。

我听说针对这种情况提供的唯一“最佳实践”是将有效负载写入 S3，然后将对象密钥传递到下一阶段。

这很好，但我对必须向 S3 写入和删除如此多的短期对象感到不高兴。每天可能有数十或数十万个此类请求。所以我（暂时）放弃了阶跃函数方法。

目前的方法

我目前正在使用 javascript SDK 直接从 Lambda A 调用 Lambda B。这有相当多的缺点；值得注意的是，我有时会同时运行两个 lambda，但没有任何性能优势。换句话说，我付钱让 Lambda A 坐在那里等待 Lambda B 的响应（我也付钱）。

这感觉像是一种反模式，而且我听说过它具有这样的特征。

问题

这似乎是一个相对常见的场景 - 进行 API 调用（函数 A），然后执行一些附加逻辑来补充、重新格式化或以其他方式修改该响应（函数 B），然后将其传回调用者。

当然，我不是第一个想要使用两个 Lambda 函数来做这样的事情的人。

• 假设我不能使用步骤函数，我可以选择使用两个 lambda 函数执行此操作吗？

• 除了使用 S3 之外，还有其他方法可以解决 Step Functions 的 32kb 有效负载大小限制吗？

• 如果我愚蠢地想避免使用 S3/Step …

我有一个简单的 AWS 状态机，其中有两个执行 C# lambda 函数的任务状态，以及一个传递状态错误处理程序来处理“States.ALL”：

{
  "Comment": "StateMachine1",
  "StartAt": "step1",
  "States": {
    "step1": {
      "Type": "Task",
      "Resource": "arn:aws:lambda:us-east-2:0000:function:step1",
      "Catch": [ {
            "ErrorEquals": ["States.ALL"],
            "Next": "CatchAllFallback"
         } ],
      "Next": "step2"
    },
      "step2": {
      "Type": "Task",
      "Resource": "arn:aws:lambda:us-east-2:0000:function:step2",
        "Catch": [ {
            "ErrorEquals": ["States.ALL"],
            "Next": "CatchAllFallback"
         } ],
      "End": true
    },
     "CatchAllFallback": {
         "Type": "Pass",
         "Result": "This is a fallback from any error code",
         "End": true
      }
  }
}

当其中一个步骤失败时，我会得到以下内容作为“CatchAllFallback”的输入：

"Error": "Lambda.Unknown",
"Cause": "The cause could not be determined because Lambda did …

目前，我正在尝试创建一系列 Lambda，这些 Lambda 将从 StepFunctions 输入执行给定的特定负载。我一切正常；然而，这并不如我所愿。

我终于掌握了InputPath、ResultPath和OutputPath之间的区别。我现在遇到的唯一问题是允许 ResultPath “追加”返回的 JSON，而不是将其嵌套在有效负载中。

这是状态机：

{
  "StartAt": "GetDailyEmails",
  "States": {
    "GetDailyEmails": {
      "Type": "Task",
      "Resource": "arn:aws:lambda:region:account:function:DailyEmailExtractor",
      "InputPath": "$.GetDailyEmailsInputs",
      "ResultPath": "$.TransformEmailsToCSVInputs.GetDailyEmailsResults",
      "Next": "TransformEmailsToCSV"
    },
    "TransformEmailsToCSV": {
      "Type": "Task",
      "Resource": "arn:aws:lambda:region:account:function:EmailTransform",
      "InputPath": "$.TransformEmailsToCSVInputs",
      "End": true
    }
  }
}

这是我提供的输入：

{
    "GetDailyEmailsInputs": {
        "secret_name": "email_password",
        "subject_contains": "stuff",
        "json_output_file_name": "test_emails",
        "bucket_name": "emails"
    },
    "TransformEmailsToCSVInputs": {
        "csv_output_file_name": "email_errors"
    }
}

这是我收到的输出：

{
  "GetDailyEmailsInputs": {
    "secret_name": "email_password",
    "subject_contains": "stuff",
    "json_output_file_name": "test_emails",
    "bucket_name": "emails"
  },
  "TransformEmailsToCSVInputs": {
    "csv_output_file_name": "apex_errors",
    "GetDailyEmailsResults": { …

我正在尝试创建一个AWS StepFunctions工作流程，其中有一个Lambda任务，后跟一个ECS/Fargate任务。

Lambda 将 ID 作为输入，并以 JSON 形式输出一些数据，供 ECS 任务使用，该任务在其容器环境中运行 Python 脚本。我想在 StepFunctions 中执行以下流程：

{ id: 1234 } -> [Lambda] -> { id: 1234, data: {...} }

{ id: 1234, data: {...} } -> [ECS] -> { id: 1234, result: "bar"}

作为参考，以下是 ECS 任务的示例配置： https://docs.aws.amazon.com/step-functions/latest/dg/sample-project-container-task-notification.html

我无法找到任何方法将inputECS 任务的结构化 JSON 传递到运行该任务的容器。

以下是我迄今为止发现的内容：

• 我可以使用 JSONPath 选择输入的各个字段并将它们设置为环境变量，从而将 JSON 输入的各个字段传递到容器。但是，如果我将整个input对象 ( $) 分配给环境变量，则它会在运行时失败并出现序列化错误 ( [Object] cannot be converted to a string)。
• 我可以创建一个中间 lambda，它接受输入并将其转换为 …

我已使用AWS Batch Jobs配置了 Step Function 。所有配置都运行良好，但我需要自定义启动实例。为此，我使用启动模板服务并根据AWS Batch配置中使用的实例类型构建简单（空）配置。当使用Launch Template构建计算环境时，批处理作业卡在RUNNABLE阶段。当我在没有启动模板的情况下运行AWS Batch Job时，一切正常。午餐实例表单模板也可以正常工作。谁能给我任何错误或遗漏的建议？以下是整个堆栈元素的定义。

Compute environment name senet-cluster-r5ad-2xlarge-v3-4
Compute environment ARN arn:aws:batch:eu-central-1:xxxxxxxxxxx:compute-environment/senet-cluster-r5ad-2xlarge-v3-4
ECS Cluster name arn:aws:ecs:eu-central-1:xxxxxxxxxxxx:cluster/senet-cluster-r5ad-2xlarge-v3-4_Batch_3323aafe-d7a4-3cfe-91e5-c1079ee9d02e
Type MANAGED
Status VALID
State ENABLED
Service role arn:aws:iam::xxxxxxxxxxx:role/service-role/AWSBatchServiceRole
Compute resources
Minimum vCPUs 0
Desired vCPUs 0
Maximum vCPUs 25
Instance types r5ad.2xlarge
Allocation strategy BEST_FIT
Launch template lt-023ebdcd5df6073df
Launch template version $Default
Instance rolearn:aws:iam::xxxxxxxxxxx:instance-profile/ecsInstanceRole
Spot fleet role
EC2 Keypair …