Qui*_*Par 3 facebook rate facebook-opengraph
我正准备开放图表发布.
开放图表的一个功能是抓取网站的元数据并提取时间轴的相关信息.
我的sitemap.xml运行到演出,并受到速率限制和ip whitlisting的保护,适用于Googlebot和Slurp等流行的抓取工具.
有人可以通过我的机器人名称和ips将爬行为Facebook吗？这不仅适用于sitemap.xml,还适用于一般速率限制(整个网站)白名单.
| 归档时间： |
|
| 查看次数： |
1811 次 |
| 最近记录： |