如果我希望我的主网站在搜索引擎上,但没有任何子域,我是否应该将“禁止所有”robots.txt 放在子域的目录中?如果我这样做了,我的主域还能被抓取吗?
robots.txt web-crawler
有没有办法在我的无线网络上将域分配给网页?例如,我可以将“media.com”链接到“192.168.0.101/sharedmedia.html”吗?如果我可以“注册”一个网络范围的 TLD,例如“media.shared”(就像 TOR 上的 .onion URL),那也很好。我在 linux 机器上运行 apache 2。
domain-name-system local-area-network wide-area-network
domain-name-system ×1
local-area-network ×1
robots.txt ×1
web-crawler ×1
wide-area-network ×1