jkw*_*703 1 coldfusion cfc web-crawler
所以我正在开发一个ColdFusion网站,今天早上我们发现谷歌正在抓取我们的网站并关注cfc并收到500错误.我们使用cfc和ajax调用,因此不应该对它们进行爬网.我们该如何解决这个问题？
我能想到谷歌会将你的cfc索引的唯一原因是它会在你的网页中找到它们的链接.请记住,Google bot也可以在JavaScript代码中找到这些链接.您应该能够创建/修改robots.txt文件,以告知搜索引擎从索引中排除包含cfc的目录.
示例robots.txt条目:
User-Agent: *
Disallow: /cfc-directory/
谷歌机器人(但不是所有搜索引擎)甚至可以支持一些模式匹配(参考).所以你可以告诉谷歌机器人不要.cfc通过这样做索引任何结尾的文件:
User-agent: Googlebot
Disallow: /*.cfc$
快速搜索出现了类似的问题.在其中@nosilleg提到ColdFusion生成的javascript代码cfajaxproxy包含指向cfc的链接(特别是/baseCFC/Statement.cfc.所以如果你在任何一个页面中使用它,它也将包含cfc的链接.