小编Jon*_* C.的帖子

我知道文件robots.txt用于阻止第三方索引内容站点的Web爬网程序。

但是，如果此文件的目的是界定站点的私有区域或保护私有区域，那么这是尝试使用robots.txt隐藏内容的意义，是否可以在GitHub存储库中看到所有内容？

我的问题是使用自定义域扩展示例。

是否有动机在robots.txtGitHub页面内使用文件？是还是不是？又为什么呢

备选方案1：
要使该内容有效地隐藏起来，那么将需要为该网站付费的是获得一个私有存储库。