小编And*_*amm的帖子

AWS Managed Airflow - 如何解决触发长时间运行的 lambda 时出现 350 秒超时的问题

当前使用 AWS lambda hook 调用 lambda 时

https://airflow.apache.org/docs/stable/_api/airflow/contrib/hooks/aws_lambda_hook/index.html

如果 lambda 运行超过 350 秒,则会失败。即使在 350 秒后,任务本身仍显示其正在运行大约一个小时,然后给出默认的 Airflow 超时错误。

我非常怀疑该问题与私有子网发生的 AWS NAT 传出连接空闲超时限制有关

https://docs.aws.amazon.com/vpc/latest/userguide/nat-gateway-troubleshooting.html#nat-gateway-troubleshooting-timeout

如何从客户端或网络端解决这个问题?

我的想法是

异步 lambda 执行并在执行完成后传递某些事件或触发侦听器以继续下一个任务。当然,这并不理想,因为我无法轻松地从 Airflow 端检查日志 在公共子网中设置自己管理的 Airflow 此设置是最不受欢迎的,因为它不安全且复杂

当前代码:

lambda_hook:AwsLambdaHook = AwsLambdaHook(function_name=function_name,region_name=region,log_type =“Tail”,invoice_type =“RequestResponse”,config = config,aws_conn_id =连接)res = lambda_hook.invoke_lambda(payload = json.dumps(payload))

能够正确触发 lambda 绝对是该服务的一个重要功能!

编辑者:anamm 于 2020 年 12 月 3 日 3:25 AM

network-programming amazon-web-services aws-lambda airflow

5
推荐指数
1
解决办法
1324
查看次数