Fro*_*ire 3 html seo robots.txt web-crawler
最近,我的网站遇到了许多来自自动生成的菜单链接返回未找到页面的软错误.但它最终将填充内容超时,所以我想暂时禁止搜索引擎抓取这些页面.
(例如PSP> Kingdom Hearts> Cheats.它会返回页面,上面写着"抱歉没有作弊"的消息.)
你们认为这会有用吗？
编辑:我已经从网站上删除了这些链接,但搜索引擎已经被抓取并返回了软404错误.
...从自动生成的菜单链接返回未找到的页面.但它最终会加满内容超时
我不会显示导致不存在的页面的链接.这些页面将"最终加载内容超时"并不重要.
除了搜索引擎优化之外,这也是一种糟糕的用户体验:成像浏览网页,并且您点击的每三个链接都会返回一个404页面,上面写着"内容最终会在以后填充".如果您没有内容,请不要显示指向该内容的链接.