标签: amazon-lambda

用于视频和图像处理的 Amazon Lambda?

我正在为其构建架构的服务中有一个视频处理部分。基本上,有些人可以上传视频(存储在 S3 中),这些视频将被拆分为高分辨率的帧。从这些高分辨率帧中,生成派生图像(缩略图、精灵),所有这些都将存储在 S3 上。

我的问题是:我应该在哪里以及如何运行我的视频处理脚本?我想使用 Lambda,但我不确定它的限制(300 秒超时和 512 MB 磁盘存储)是否允许我这样做。请注意,视频的权重可达数 GB。

我目前考虑的解决方案是:

  • 使用流从 S3 读取视频(因此不必完全复制)
  • 将视频转成帧,然后直接上传到S3(我还要确保不要用帧填满存储)
  • 单独或分块读取来自 S3 的帧,并使用它们生成缩略图和精灵,然后上传到 S3。我有点担心这可能需要的时间,即使我的 Lambda 与我的 S3 存储桶位于同一区域。

你认为这是最好的解决方案吗?你能想到一个更简单的吗?或者您认为在标准 EC2 实例上运行处理是一个更好的主意(也许中间有一些像 SQS 这样的排队系统)?

谢谢!

amazon-s3 amazon-ec2 amazon-web-services amazon-lambda

5
推荐指数
1
解决办法
3708
查看次数

将参数传递给 AWS Lambda

我正在尝试编写一个 CloudFormation 模板,该模板将 Lambda 函数订阅到 CloudWatch Logs LogGroup。然后,此 Lambda 函数应解析日志并将它们放入 Amazon ES 集群。

订阅等都运行良好,但我无法理解的一点是如何将 Amazon ES 集群端点传递给 Lambda 函数。当您浏览控制台时,AWS 提供的模板包括一行:

var endpoint = 'my-aws-es-endpoint.amazonaws.com';
Run Code Online (Sandbox Code Playgroud)

每次运行 CloudFormation 模板时,我显然都需要更新它,因为每次我都会得到一个具有不同端点的不同集群。我不想手动更新它,但希望能够使用像“Fn::GetAtt”这样的 CloudFormation 函数来获取终点并将其传递给 Lambda。我就是不知道怎么做。

amazon-cloudformation amazon-elasticache amazon-lambda

5
推荐指数
1
解决办法
8573
查看次数

设置了多个 Lambda 触发器的 AWS SQS 行为

我设置了一个 SQS 队列,其中包含多个配置为触发器的 Lambda。虽然 AWS 的 API 允许这样做,但尚不清楚预期的行为是什么

例如,是否将一条消息从队列中拉出并发送到每个 Lambda?还是每个 Lambda 都充当轮询服务,分别从队列中提取消息?

从我的测试来看,它似乎是后者,但我一生都无法在任何地方找到这种记录。考虑到 AWS Lambda 的并发功能,后者对我来说也没有多大意义。

queue amazon-web-services amazon-lambda

4
推荐指数
1
解决办法
4559
查看次数

使用 AWS CloudFormation 与 TracingConfig 在 Lambda 中配置 X-Ray

我们有一个使用 CloudFormation 配置的 AWS Lambda(更广泛的 AWS 堆栈的一部分)。要求我们在此 Lambda 上实施/配置X-Ray。公司政策禁止我们(按角色/按帐户)访问 AWS 控制台,这也是我们使用 CloudFormation 定义 AWS 堆栈的部分原因;但这意味着我们无法通过 AWS 控制台启用 X-Ray(通常是这样做的方法)。

遗憾的是,我们尚未找到有关将 X-Ray 与 CloudFormation 结合使用的文档。回顾CloudFormation 发布历史记录,我们发现 X-Ray 实际上并未列出。CloudFormation 似乎不支持以这种方式使用 X-Ray 配置 Lambda。

我们还发现了名为TracingConfig的东西,它可以通过 CloudFormation 启用。然而,关于它的作用,或者输出是什么样子/它去哪里的文档并不多。我们发现的与此相关的充满希望的信息是关于两者的文档TracingConfig,并X-Ray在传递中提到了他们所谓的“主动跟踪”。

因此,我的问题最终是,我们可以从中获得多少信息TracingConfig,以及如果我们能够使用它,我们能与本来可以提供的信息有多接近X-Ray

或者

是否有在 CloudFormation 中启用 X-Ray 的未记录方法?

amazon-web-services amazon-cloudformation amazon-lambda

2
推荐指数
1
解决办法
3228
查看次数

如何从 lambda 触发 S3(不同区域)事件?

我可以使用 S3 相同区域创建 lambda 触发器。但是在使用不同区域 S3 创建触发器时出现错误

The bucket imebuckt must be in the same region as arn:aws:lambda:ap-south-1::function:ProcessImage.
Run Code Online (Sandbox Code Playgroud)

我该如何修复它?

amazon-s3 amazon-web-services amazon-lambda

2
推荐指数
1
解决办法
5028
查看次数

如何在 AWS 上跨 CloudWatch 日志组进行搜索?

我有许多 lambda 函数运行我的无服务器后端。某处出现异常,我需要从所有日志组中调出/搜索特定时间 \xe2\x80\x94\xc2\xa0 的所有日志,而不仅仅是单个日志组或单个流。

\n

有没有一种好方法可以搜索所有日志组和所有流?

\n

我已经尝试过控制台,但这坚持从日志组(对于 lambda,这些等同于函数)向下驱动并使用命令行,这也仅适用于每个日志组。

\n

理想情况下,我希望首先能够查看一天内所有函数执行的所有报告,这样我就可以查询以查看哪些函数失败或运行时间过长。

\n

有没有办法在所有日志中搜索我的所有功能?

\n

预先感谢 \xe2\x80\x94\xc2\xa0 如果您需要更多详细信息,请告诉我。

\n

麦克风

\n

amazon-web-services amazon-cloudwatch aws-cli amazon-lambda

2
推荐指数
1
解决办法
4502
查看次数

我的开发人员在 AWS 中需要什么级别的权限?

我正在雇用一名开发人员为我创建一个项目。他要求我创建一个 AWS Lambda 帐户,以便他可以创建应用程序。

我创建了一个可以访问完整 AWS Lambda 策略的用户,但这还不够,最终我为该用户分配了默认的 SystemAdministrator 策略。但他说这还不够。他希望能够创建角色,现在他要求根访问权限或我的 AWS 所有者登录名。

听起来对吗?他需要这种级别的访问权限来开发项目吗?

amazon-web-services amazon-lambda

1
推荐指数
1
解决办法
2908
查看次数