仅允许Google CSE并禁止在ROBOTS.txt中使用Google标准搜索

Question

我有一个网站,我正在使用谷歌自定义搜索引擎.我希望Google CSE抓取我的网站,但我希望它不会出现常规Google搜索结果.我把它放在我的robots.txt文件中,希望google CSE机器人会忽略它,因为我指定了我希望Google CSE在设置中抓取的页面

User-agent: *
Disallow: /

我猜Google CSE机器人也必须服从robots.txt.那么有没有办法让我的网页远离搜索引擎搜索,但谷歌CSE仍然可以索引它？TIA!

Answer 1

这个问题没有符合您想要的解决方案。我也有同样的情况，我只需要自定义搜索。不幸的是，谷歌的抓取工具列表没有显示用于谷歌自定义搜索的特定机器人。阻止 Googlebot 将杀死本机搜索和自定义搜索。