我使用Github存储我的一个网站的文本,但问题是谷歌也在Github索引文本.因此,相同的文本将显示在我的网站和Github上.例如,这个搜索最热门的是我的网站.第二个命中是Github存储库.
我不介意人们是否看到消息来源,但我不希望Google对其进行索引(并且可能会对重复内容进行处罚.)除了将存储库设为私有之外,还有什么方法可以告诉Google停止对其进行索引吗?
在Github Pages的情况下会发生什么?这些是源在Github存储库中的站点.他们有同样的重复问题吗?
我用GitHub创建了我的第一个存储库但是当我尝试谷歌时,它没有列出 RoboSpice-Extn-Retrofit-Tutorial
编辑
我不知道需要多长时间.另一方面,任何人都可以获得谷歌网站管理员的帮助,这将在几分钟内解决您的问题:)
我正在使用 Github 页面和 Jekyll 构建我的个人网站。我在仓库中有一个头站点username.github.io
,在projectA
仓库中有一个项目 A 站点,在projectB
仓库中有一个项目 B 站点,依此类推。我已在存储库CNAME
下放置了一个文件username.github.io
,以便我的所有站点都位于自定义域名 ( www.mydomain.com
) 下。我注意到,当robots.txt
文件指向sitemap.txt
每个存储库下的文件时,sitemap.txt
只能包含每个单独存储库中页面的页面链接。所以,我有几个问题:
由于我的网站的结构为www.mydomain.com
、等www.mydomain.com/projectA
,www.mydomain.com/projectB
与单个存储库中的页面相对应,搜索引擎是否会识别我的所有网站页面,即使sitemap.txt
headusername.github.io
存储库仅具有在单个存储库中生成的页面链接?
在我的情况下写入robots.txt
文件的最佳方法是什么?
谢谢!齐