我的网站内容有限.我希望我的网站出现在搜索结果中,但我不希望它公开.
有没有办法允许抓取工具抓取我的网站,但阻止他们公开？
我找到的最接近的解决方案是Google First Click Free,但它甚至要求我第一次显示内容.
seo robots.txt web-crawler
robots.txt ×1
seo ×1
web-crawler ×1