Kyl*_*ira 7 robots.txt web-crawler
在挖掘Google robots.txt文件时,我注意到了一条我不熟悉的行.
以下代码在robots.txt文件的上下文中是什么意思?
Allow: /$
Run Code Online (Sandbox Code Playgroud)
'$'是否只是简单地改变了意义
Allow: /
Run Code Online (Sandbox Code Playgroud)
根据SearchEngineLand ..
您可以使用美元符号($)匹配字符串的结尾。例如,要阻止以.asp结尾的URL:
用户代理:Googlebot
不允许:/*.asp$
看起来它的行为有点像正则表达式。