在等待HTTP响应,Python,Google App Engine时超过了截止日期

Question

我正在使用cron作业下载网页并使用Google App Engine进行保存.

5秒后,我得到了Dealine超出错误.

我该如何避免错误.搜索这个网站,我可以延长urlfetch的时间限制.但它不是urlfetch导致问题.事实是我无法执行任务超过5秒.

例如,我尝试过这个修复程序,但它只在我自己运行页面时才有效,而不是通过cron作业:

HTTPException:等待来自URL的HTTP响应时超出截止时间:#deadline

Answer 1

Cron作业最多可以运行10分钟,但这并不意味着URLFetch在此之前无法超时.URLFetch的默认超时恰好是5秒,但您可以提高此值.

"您可以为一个请求,时间的服务将等待响应的最大量的最后期限.默认情况下,为获取截止时间为5秒,最高期限为HTTP请求60秒,10分钟,任务队列和cron作业的要求.当使用的URLConnection接口,该服务使用的连接超时(setConnectTimeout())加上读取超时(setReadTimeout())的最后期限".

请参阅:https://developers.google.com/appengine/docs/java/urlfetch/？cscs = 1#Requests

"一个cron作业将调用一个URL,使用HTTP GET请求,在一天中的特定时间,由cron调用的HTTP请求可长达10分钟运行,但受到同样的限制等HTTP请求."

请参阅:https://developers.google.com/appengine/docs/python/config/cron

此外,查看这个旧的stackoverflow问题,问题非常相似. 如果Google App Engine cron作业有10分钟的限制,那么为什么我会在正常的30秒后获得DeadlineExceededError？