我想知道是否有一个软件可以用来发现给定 URL 的所有文件和子目录?
例如,给定www.some-website.com/some-directory/,我想查找/some-directory/目录中的所有文件以及 中的所有子目录(及其文件)/some-directory/。
www.some-website.com/some-directory/
/some-directory/
这适用于 HTTP 协议。
internet web-crawler
internet ×1
web-crawler ×1