如何排除 gatsby 创建的页面被索引？

Question

语境

Gatsby是无头 CMS 的奇迹，它gatsby-plugin-advanced-sitemap使生成强大的sitemap.xml文件变得轻而易举。

该插件支持通过 slug 或巧妙的正则表达式排除页面。

但就我而言，我有 2 个用户生成内容页面的集合：

• 集合 A，其中包含需要托管和索引的页面，
• 集合 B，其中包含需要托管但未建立索引的页面。

B 集合没有 slug 模式，因此可以使用正则表达式来识别它们。

问题

如何将集合 B 从索引中排除？

Answer 1

如果您未包含（或排除）的文件sitemap.xml允许robotx.txt具有属性的 Google 机器人index，或者从其他页面到该页面的链接具有follow属性，则它们也可以被编入索引。

关于您的问题，该插件允许您添加exclude一系列页面，尽管您的查询检索到了这些页面，但这些页面不会添加到您的页面中sitemap.xml。所以，在你的gatsby-config.js：

{
      resolve: `gatsby-plugin-advanced-sitemap`,
      options: {
        query: `{}`, // your query
        mapping: {}, // add if needed
        exclude: [
          `/dev-404-page`,
          `/404`,
          `/404.html`,
          `/offline-plugin-app-shell-fallback`,
          `/terms-and-conditions`,
          `/terms-of-use`,
          `/cookie-policy`,
          `/privacy-policy`,
          /(\/)?hash-\S*/,
        ],
        createLinkInHead: true,
        addUncaughtPages: true,
        additionalSitemaps: [], // add if needed
      },
    },

理想情况下，您的排除页面可能会遵循正则表达式方式在生成时自动排除。但是，如果没有，如上面的代码所示，您可以手动添加。在这种情况下，nor /terms-of-use、、/cookie-policy或/privacy-policy不会添加到您的sitemap.xml.