我在robots.txt文件中使用此代码:
User-agent: *
Disallow:
但是,我的竞争对手正在使用
User-agent: *
Disallow: /
他的网站在谷歌和排名第一的表现都很好.但我的网站没有排名.我检查了我网站上的所有内容,没关系.但是我的竞争对手在Google中表现如何？robots.txt文件无关紧要吗？
您的网站排名不取决于您的robots.txt文件.您只需告诉谷歌如何抓取您网站上的网页并将其编入索引.
网站所有者使用该/robots.txt文件向网络机器人提供有关其网站的说明;
您的网站排名取决于许多因素,如:
顺便说一下,这将阻止所有内容的所有网页抓取工具:
User-agent: *
Disallow: /
这将允许所有抓取工具访问所有内容:
User-agent: *
Allow: /
| 归档时间： |
|
| 查看次数： |
2176 次 |
| 最近记录： |