如何达到AWS Lambda并发执行限制？

Question

更新

下面的原始测试代码基本上是正确的，但在 NodeJS 中，各种 AWS 服务的设置应该根据@Michael-sqlbot 提供的SDK 链接略有不同

// manager
const AWS = require("aws-sdk")
const https = require('https');
const agent = new https.Agent({
    maxSockets: 498 // workers hit this level; expect plus 1 for the manager instance
});
const lambda = new AWS.Lambda({
    apiVersion: '2015-03-31',
    region: 'us-east-2', // Initial concurrency burst limit = 500
    httpOptions: {   // <--- replace the default of 50 (https) by
        agent: agent // <--- plugging the modified Agent into the service
    }
})
// NOW begin the manager handler code

---

在规划新服务时，我正在进行一些初步的压力测试。在阅读了每个帐户1,000 个并发执行限制和初始突发率（在 us-east-2 中为 500）之后，我期望立即实现至少 500 个突发并发执行。下面的 CloudWatch Lambda 指标屏幕截图显示了不同的情况。无论我尝试使用何种参数组合，我都无法超过 51 个并发执行。这是测试代码：

// worker
exports.handler = async (event) => {
    // declare sleep promise
    const sleep = (ms) => new Promise((resolve) => setTimeout(resolve, ms));

    // return after one second
    let nStart = new Date().getTime()
    await sleep(1000)
    return new Date().getTime() - nStart; // report the exact ms the sleep actually took
};

// manager
exports.handler = async(event) => {
    const invokeWorker = async() => {
        try {
            let lambda = new AWS.Lambda() // NO! DO NOT DO THIS, SEE UPDATE ABOVE
            var params = {
                FunctionName: "worker-function",
                InvocationType: "RequestResponse",
                LogType: "None"
            };
            return await lambda.invoke(params).promise()

        }
        catch (error) {
            console.log(error)
        }
    };

    try {
        let nStart = new Date().getTime()
        let aPromises = []

        // invoke workers
        for (var i = 1; i <= 3000; i++) {
            aPromises.push(invokeWorker())
        }

        // record time to complete spawning
        let nSpawnMs = new Date().getTime() - nStart

        // wait for the workers to ALL return
        let aResponses = await Promise.all(aPromises)

        // sum all the actual sleep times
        const reducer = (accumulator, response) => { return accumulator + parseInt(response.Payload) };
        let nTotalWorkMs = aResponses.reduce(reducer, 0)

        // show me
        let nTotalET = new Date().getTime() - nStart
        return {
            jobsCount: aResponses.length,
            spawnCompletionMs: nSpawnMs,
            spawnCompletionPct: `${Math.floor(nSpawnMs / nTotalET * 10000) / 100}%`,
            totalElapsedMs: nTotalET,
            totalWorkMs: nTotalWorkMs,
            parallelRatio: Math.floor(nTotalET / nTotalWorkMs * 1000) / 1000
        }
    }

    catch (error) {
        console.log(error)
    }
};

Response:
{
  "jobsCount": 3000,
  "spawnCompletionMs": 1879,
  "spawnCompletionPct": "2.91%",
  "totalElapsedMs": 64546,
  "totalWorkMs": 3004205,
  "parallelRatio": 0.021
}

Request ID:
"43f31584-238e-4af9-9c5d-95ccab22ae84"

我是否达到了我没有提到的其他限制？我的测试代码有缺陷吗？我试图达到 3,000 个工作线程的限制，但没有遇到限制，我猜这是由于异步调用重试行为造成的。

编辑：Lambda 上不涉及 VPC；选择输入中的设置为“无 VPC”。

编辑：显示修复前后的 Cloudwatch

Answer 1

有许多潜在的嫌疑人，特别是因为您从 Lambda 调用 Lambda，但您始终关注并发数为 50 \xe2\x80\x94，这是一个看似任意的限制（并且是一个可疑的整数）\xe2 \x80\x94 提醒我 JavaScript SDK 中潜藏着反足枪：

\n\n

\n

在 Node.js 中，您可以设置每个源的最大连接数。如果设置了 maxSockets，低级 HTTP 客户端会将请求排队并在套接字可用时将它们分配给它们。

\n

\n\n

当然，这里的“来源”是指方案 + 主机名的任何唯一组合，在本例中是SDK 为调用方法而连接到的 us-east-2 中 Lambda 的服务端点。Invokehttps://lambda.us-east-2.amazonaws.com

\n\n

\n

这使您可以设置一次对给定源的并发请求数的上限。降低此值可以减少收到的限制或超时错误的数量。但是，它也会增加内存使用量，因为请求会排队直到套接字可用。

\n\n

...

\n\n

当使用默认值时https，SDK 会maxSockets从 中获取值globalAgent。如果该maxSockets值未定义或为无穷大，则 SDK 假定maxSockets值为 50。

\n\n

https://docs.aws.amazon.com/sdk-for-javascript/v2/developer-guide/node-configuring-maxsockets.html

\n

\n