相关疑难解决方法(0)

我对一个网站感到好奇,并希望在/s路径上做一些网络爬行.它的robots.txt:

User-Agent: *
Allow: /$
Allow: /debug/
Allow: /qa/
Allow: /wiki/
Allow: /cgi-bin/loginpage
Disallow: /

我的问题是:

• 在这种情况下,美元符号意味着什么？

• 抓取网址/s是否合适？关于robots.txt文件？