我希望我的网站的一个页面被抓取而没有其他页面.
此外,如果它与上面的答案有任何不同,我也想知道除了网站的根(索引)之外的所有语言都是禁止的.
# robots.txt for http://example.com/
User-agent: *
Disallow: /style-guide
Disallow: /splash
Disallow: /etc
Disallow: /etc
Disallow: /etc
Disallow: /etc
Disallow: /etc
Run Code Online (Sandbox Code Playgroud)
或者我可以这样做吗?
# robots.txt for http://example.com/
User-agent: *
Disallow: /
Allow: /under-construction
Run Code Online (Sandbox Code Playgroud)
另外我应该提一下这是一个WordPress安装,所以"正在构建",例如,设置为首页.所以在这种情况下它充当索引.
我认为我需要的是http://example.com拥抱,但没有其他页面.
# robots.txt for http://example.com/
User-agent: *
Disallow: /*
Run Code Online (Sandbox Code Playgroud)
这是否意味着在根之后不允许任何事情?
robots.txt ×1