Facebook的Open Graph抓取工具的IP地址范围是多少？

Question

为了在我们的预览环境中测试Open Graph API,我们需要在防火墙中挖一个洞以允许Facebook刮取我们的对象页面.我们应该允许哪些IP范围？

Answer 1

编辑

Facebook已经表现出一些爱,现在正在让任何人都可以公开IP块

http://developers.facebook.com/docs/ApplicationSecurity/#facebook_scraper https://developers.facebook.com/docs/sharing/best-practices#crawl

Facebook Scraper

社交插件和Open Graph等许多平台服务要求我们的系统能够访问您的网页.我们认识到,在测试期间或出于其他安全原因,您可能不希望这些页面出现在公共Internet上.

为此,您应该在安全系统中设置例外,以允许Facebook通过添加以下IP范围来抓取这些页面,截至2012年4月准确无误.

31.13.24.0/21
31.13.64.0/18
66.220.144.0/20
69.63.176.0/20
69.171.224.0/19
74.119.76.0/22
103.4.96.0/22
173.252.64.0/18
204.15.20.0/22

您也可以使用防火墙的用户代理而不是IP.

http://developers.facebook.com/docs/reference/plugins/like/

Facebook什么时候刮我的页面？

Facebook需要抓取您的页面以了解如何在网站上显示它.

Facebook每24小时擦除一次页面以确保属性是最新的.当Open Graph页面的管理员单击Like按钮并将URL输入Facebook URL Linter时,页面也会被删除.Facebook会在您的网址上观察缓存标头 - 它会按优先顺序查看"过期"和"缓存控制".但是,即使您指定较长时间,Facebook也会每24小时刮一次您的页面.

刮刀的用户代理是:"facebookexternalhit/1.1(+ http://www.facebook.com/externalhit_uatext.php)"

Answer 2

whois -h whois.radb.net -- '-i origin AS32934' | grep ^route 查看所有范围。