“索引、关注”或“关注”有什么区别？

Question

下面的列表有什么区别：

<meta name="robots" content="index, follow">

<meta name="robots" content="follow">

<meta name="robots" content="noindex, follow">

<meta name="robots" content="index, nofollow">

<meta name="robots" content="noindex, nofollow">

Answer 1

首先，您可能了解元机器人标签。

元机器人标签是告诉蜘蛛或爬虫要抓取或索引哪个页面。

Follow 表示：页面将被抓取。

没有关注意味着：页面不会被抓取。

索引意味着：您的页面显示在搜索结果中。

无索引意味着：您的页面不会显示在搜索结果中。

<meta name="robots" content="index, follow">

该标签告诉网络爬虫所有页面都将被索引并爬行它们。

<meta name="robots" content="follow">

该标签用于告诉网络爬虫所有页面都将被爬行并建立索引。

<meta name="robots" content="noindex, follow">

此标记用于告诉爬虫跟踪但不在数据库中索引该页面。

<meta name="robots" content="index, nofollow">

告诉网络爬虫不要抓取页面，而是对其建立索引。

<meta name="robots" content="noindex, nofollow">

告诉网络爬虫既不索引也不爬行。

Answer 2

这些标签之间的主要区别是：

noindex：该页面不应显示在 Google、Yahoo 等网站的结果列表中。

index：表示相反并允许。

nofollow：不允许爬虫/机器人调用（关注）嵌入（在其元数据中带有此标志的页面中找到的）链接。

follow：表示相反并允许。