当前使用 AWS lambda hook 调用 lambda 时
https://airflow.apache.org/docs/stable/_api/airflow/contrib/hooks/aws_lambda_hook/index.html
如果 lambda 运行超过 350 秒,则会失败。即使在 350 秒后,任务本身仍显示其正在运行大约一个小时,然后给出默认的 Airflow 超时错误。
我非常怀疑该问题与私有子网发生的 AWS NAT 传出连接空闲超时限制有关
如何从客户端或网络端解决这个问题?
我的想法是
异步 lambda 执行并在执行完成后传递某些事件或触发侦听器以继续下一个任务。当然,这并不理想,因为我无法轻松地从 Airflow 端检查日志 在公共子网中设置自己管理的 Airflow 此设置是最不受欢迎的,因为它不安全且复杂
当前代码:
lambda_hook:AwsLambdaHook = AwsLambdaHook(function_name=function_name,region_name=region,log_type =“Tail”,invoice_type =“RequestResponse”,config = config,aws_conn_id =连接)res = lambda_hook.invoke_lambda(payload = json.dumps(payload))
能够正确触发 lambda 绝对是该服务的一个重要功能!
编辑者:anamm 于 2020 年 12 月 3 日 3:25 AM