Robot.txt 无索引

Question

我有 2 个网站。第一个是“test-www.xxxxxx.net”，另一个是“www.xxxxxx.net”。我想制作一个动态无索引元标记。Google 机器人可以为我的实时网站编制索引，但我不希望将其用于我的测试网站。通常我可以添加一个属性并使其在 _Layout.cshtml 中动态化，如下所示。

@if (!Helper.IsLiveSite())
    {
        <meta name="robots" content="noindex">
    }

有没有办法可以将其写入 robots.txt 文件？有些文章中写道“我强烈建议您尽可能使用Noindex。 ”

所以请帮忙！我怎样才能在robot.txt中做到这一点？我不知道下面的文件是否会产生错误。

User-agent: *
Disallow: /styles/
Sitemap: http://xxxxxx/sitemap/sitemap.xml
Noindex: test-www.xxxxxxx.net/*
Noindex: http://test-www.xxxxxxx.net/*
Noindex: https://test-www.xxxxxxx.net/*

谢谢。

Answer 1

您可以\xe2\x80\x99t 禁止使用 robots.txt\xc2\xb9建立索引，而仅进行爬网（使用Disallow）。

\n\n

如果您想禁止从测试站点抓取所有文档，则必须上传可从以下位置访问的 robots.txt test-www.xxxxxxx.net/robots.txt：

\n\n

User-agent: *\nDisallow: /\n

\n\n

（并且这个 robots.txt 文件也不应该从您的实时站点访问。）

\n\n

搜索引擎（支持 robots.txt 的搜索引擎）将不再\xe2\x80\x99 访问（抓取）该主机上的 URL。如果他们以某种方式找到该主机上文档的 URL（例如，如果另一个页面链接到它们），他们可能会列出（索引）它们。

\n\n

\xc2\xb9 不过，Google实验性地支持（也许仍然支持）这一点。

\n