如果 robots.txt 中不允许使用 API，Google 是否会抓取或编制索引

Question

我希望 googlebot 索引动态添加到我的站点地图中的网址。我添加的 URL 用于个人资料 ( example.com/username)、博客等...我使用带有 React-router 的服务器端渲染，并且某些组件api调用api.example.com/.... 阅读有关爬行和robots.txt. 我了解到 googlebot 在抓取页面时会向链接发出请求。因此，服务器从进程中获取请求googlebot.com并googlebot与之交互。robots.txt

好吧，我不希望谷歌抓取我的 api 或链接到它的人。这会使服务器超载。Instagram 的做法完全相同https://instagram.com/robots.txt

User-agent: *
Disallow: /api/

根据我的理解，我有点困惑谷歌如何抓取公共个人资料页面（谷歌“Kelly Slater instagram”）。

另外，https://developer.android.com/training/app-indexing/enabling-app-indexing.html#robots（最后一段 - 页面底部）说我需要允许谷歌向/api/.

问题

1. 因为/api/被屏蔽了，google如何抓取Instagram页面？它是否等待服务器的响应并忽略，robots.txt因为它是来自另一个页面的间接请求？

2. 网络爬行与应用程序爬行不同吗？我是否需要启用才能/api/使我未来的 Android 应用程序可爬行？

3. 我还注意到 Instagram 中没有Sitemap: ...字段robots.txt。他们是否使用搜索引擎的 API 提交站点地图google ping？

Answer 1

这篇文章中有很多问题，但我们最近遇到了这个问题，总结一下：

• 首先 Google 加载了我们的初始 HTML 页面。
• 然后，它将 API 调用视为 499 错误，并在检索响应之前关闭连接。
• 如果页面需要来自被阻止的 API URL 的数据，则不会获取该数据，因此（在我们的网站上）无法正确加载页面。

因此，如果您希望 Google 仍然抓取某个页面但没有必要的 API 调用，请务必先进行后备或阻止该页面被抓取。