Lau*_*ron 4 seo robots.txt googlebot robot
我目前正在编写我的robots.txt文件,并且在决定是否允许或禁止某些文件夹用于搜索引擎优化目的时遇到一些麻烦.
这是我的文件夹:
我正在考虑只禁用PHP页面并让其余部分.
你怎么看？
非常感谢
洛朗
/ css和/ js - 无论你是否在robots.txt中拥有它们,CSS和Javascript文件都可能被googlebot抓取.Google使用它们呈现您的网页以进行网站预览.谷歌很好地问你不要把它们放在robots.txt中.
/ img - 即使在robots.txt中,Googlebot也可以像CSS和Javascript一样抓取此内容.将图片放入robots.txt通常会阻止他们在Google图片搜索中编入索引.Google图片搜索可能是您网站访问者的来源,因此您可能希望将其编入索引.
/ php - 听起来你不希望蜘蛛击中执行动作的网址.很好的使用robots.txt的电话
/ error - 如果您的站点设置正确,蜘蛛可能永远不知道您的错误页面是从哪个目录中提供的.它们通常在有错误的URL上提供服务,蜘蛛永远不会看到它们的实际URL.如果您重定向到它们,情况并非如此,无论如何这不是推荐的做法.因此,我想说没有必要把它们放在robots.txt中
| 归档时间： |
|
| 查看次数： |
3726 次 |
| 最近记录： |