poo*_*oja 5 amazon-s3 amazon-web-services aws-step-functions
我正在设计一个应用程序,其输入是每15分钟上传到S3存储桶的大型文本文件(大小范围为1-30 GB)。它将文件拆分为n个小文件,并将这些文件复制到3个不同aws区域中的3个不同S3存储桶中。然后3个加载器应用程序从相应的s3存储桶中读取这n个文件,并将数据加载到相应的Aerospike集群中。
我正在考虑使用AWS lambda函数拆分文件以及加载数据。最近,我遇到了AWS step函数,该函数也可以根据我阅读的内容达到目的。我不确定该搭配哪款,哪款定价会便宜。任何帮助表示赞赏。
提前致谢!
Lambda和Step功能就像楼层和每个楼层的步骤。您不能用一个替换另一个。
Lambda正在计算,步骤功能将它们带到所需的步骤。
YouTube视频很好地说明了这一点: https //www.youtube.com/watch?v=Dh7h3lkpeP4
再次类推,您可以在单个楼层中传递多个计算(lambda),然后再将其传递到下一楼层。
示例之一如下所示。
用例: https ://john.soban.ski/transcribe-customer-service-voicemails-and-alert-on-keywords.html
希望能帮助到你。
步骤功能非常适合协调涉及多个预定义步骤的工作流程。它可以很好地完成并行任务和错误处理。它主要使用Lambda函数执行每个任务。
根据您的用例,步进功能听起来很合适。就价格而言,它在Lambda之上增加了非常小的额外费用。根据您的描述,我怀疑您是否还会注意到额外的费用。您需要根据要使用的“状态转换”次数来进行评估。当然,您还必须为Lambda调用付费。
| 归档时间: |
|
| 查看次数: |
1610 次 |
| 最近记录: |