在GitHub页面中使用robots.txt有什么意义？

Question

我知道文件robots.txt用于阻止第三方索引内容站点的Web爬网程序。

但是，如果此文件的目的是界定站点的私有区域或保护私有区域，那么这是尝试使用robots.txt隐藏内容的意义，是否可以在GitHub存储库中看到所有内容？

我的问题是使用自定义域扩展示例。

是否有动机在robots.txtGitHub页面内使用文件？是还是不是？又为什么呢

备选方案1：
要使该内容有效地隐藏起来，那么将需要为该网站付费的是获得一个私有存储库。

Answer 1

其目的robots.txt不是划定私人区域，因为机器人甚至无法访问它们。相反，以防万一您有一些垃圾或任何您不希望被搜索引擎索引的杂项。

举例说吧。我编写 Flash 游戏是为了娱乐，并使用 GitHub Pages 来允许游戏检查更新。我将此文件托管在我的 GHP 上，其所有内容是

10579
2.2.3
https://github.com/iBug/SpaceRider/tree/master/SpaceRider%202

它包含三部分信息：新版本内部编号、新版本显示名称、下载链接。因此，当它被爬虫索引时，它肯定是没有用的，所以当我有一个robots.txt这样的东西时，我会避免被索引。