Mac*_*ski 38
利用HTTP缓存.发送Etag和LastModified标题.认识到304 Not modified回应.这样可以节省大量带宽.另外,一些脚本识别LastModified标题并仅返回部分内容(即,仅返回两个或三个最新项而不是全部30个左右).
不要从支持RPC Ping(或其他PUSH服务,如PubSubHubbub)的服务中轮询RSS .即如果您从服务接收PUSH通知,则不必在标准间隔内轮询数据 - 每天执行一次以检查机制是否仍然有效(ping可以被禁用,重新配置,损坏,等等).这样,您只能在收到通知时获取RSS,而不是每小时左右.
检查TTL(在RSS中)或缓存控制头(Expires在ATOM中),并且在资源到期之前不要获取.
尝试适应每个RSS Feed中新项目的频率.如果在过去一周内,特定Feed中只有两个更新,请不要每天多次获取.AFAIR Google阅读器可以做到这一点.
在夜间或网站流量较低的其他时间降低费率.
最后,每小时做一次.;)
Google的FeedFetcher声称它每小时调查一次RSS播放量略少于一次.
来自:http://code.google.com/apis/ajaxfeeds/documentation/
Feed Feed Crawl Frequency
由于Google AJAX Feed API使用Feedfetcher,因此来自AJAX Feed API的Feed数据可能并不总是最新的.Google Feed抓取工具("Feedfetcher")每小时检索大多数网站的Feed少于一次.一些经常更新的站点可能会更频繁地刷新.
| 归档时间: |
|
| 查看次数: |
4933 次 |
| 最近记录: |