我正在为Web开发人员创建一个工具,用于"扫描"他们网站上的HTML.
这需要我的Asp.Net应用程序从他们的站点下载页面.
为了防止滥用,我想确保我遵守robots.txt以及其他方法.
HttpWebRequest已经这样做了吗？或者是否有一个开源实现我可以用来验证给定用户代理字符串的robots.txt文件？
.net robots.txt web-crawler
.net ×1
robots.txt ×1
web-crawler ×1