Jag*_*ira 0 seo robots.txt web-crawler
我的网站内容有限.我希望我的网站出现在搜索结果中,但我不希望它公开.
有没有办法允许抓取工具抓取我的网站,但阻止他们公开？
我找到的最接近的解决方案是Google First Click Free,但它甚至要求我第一次显示内容.
为什么要让人们搜索他们点击链接时无法访问的页面？它在技术上可能使其变得困难(如果useragent包含'googlebot',请检查您的身份验证代码,但如果他们希望您的内容足够糟糕,那么没有什么可以阻止人们伪造这个用户)但在很大程度上毫无意义.
谷歌的官方专线(IIRC,但在任何地方找不到这个)都是因为故意试图向人们用户看到的谷歌机器人不同的内容展示你可能会受到惩罚.
| 归档时间： |
|
| 查看次数： |
2009 次 |
| 最近记录： |