小编nou*_*eau的帖子

robots.txt禁止除一个以外的所有页面?他们是否覆盖和级联?

我希望我的网站的一个页面被抓取而没有其他页面.

此外,如果它与上面的答案有任何不同,我也想知道除了网站的根(索引)之外的所有语言都是禁止的.

# robots.txt for http://example.com/

User-agent: *
Disallow: /style-guide
Disallow: /splash
Disallow: /etc
Disallow: /etc
Disallow: /etc
Disallow: /etc
Disallow: /etc
Run Code Online (Sandbox Code Playgroud)

或者我可以这样做吗?

# robots.txt for http://example.com/

User-agent: *
Disallow: /
Allow: /under-construction
Run Code Online (Sandbox Code Playgroud)

另外我应该提一下这是一个WordPress安装,所以"正在构建",例如,设置为首页.所以在这种情况下它充当索引.

我认为我需要的是http://example.com拥抱,但没有其他页面.

# robots.txt for http://example.com/

User-agent: *
Disallow: /*
Run Code Online (Sandbox Code Playgroud)

这是否意味着在根之后不允许任何事情?

robots.txt

34
推荐指数
2
解决办法
3万
查看次数

标签 统计

robots.txt ×1