zah*_*in 7 java parsing robots.txt
我想知道如何在java中解析robots.txt.
有代码吗？
Bil*_*ard 5
Heritrix是一个用Java编写的开源Web爬虫.通过他们的javadoc,我看到他们有一个实用程序类Robotstxt来解析robots.txt文件.
归档时间：
15 年，4 月 前
查看次数：
7208 次
最近记录：
9 年，1 月 前