小编tkb*_*kbx的帖子

如何使用 robots.txt 禁止仅对我的子域进行抓取?

如果我希望我的主网站在搜索引擎上,但没有任何子域,我是否应该将“禁止所有”robots.txt 放在子域的目录中?如果我这样做了,我的主域还能被抓取吗?

robots.txt web-crawler

8
推荐指数
2
解决办法
9655
查看次数

全网域?

有没有办法在我的无线网络上将域分配给网页?例如,我可以将“media.com”链接到“192.168.0.101/sharedmedia.html”吗?如果我可以“注册”一个网络范围的 TLD,例如“media.shared”(就像 TOR 上的 .onion URL),那也很好。我在 linux 机器上运行 apache 2。

domain-name-system local-area-network wide-area-network

-2
推荐指数
1
解决办法
106
查看次数