小编cle*_*ent的帖子

我正在寻找Java中的robots.txt解析器,它支持与Googlebot 相同的模式匹配规则.

我找到了一些解析robots.txt文件的库,但它们都不支持Googlebot样式的模式匹配:

• Heritrix(这个问题有一个未公开的问题)
• Crawler4j(看起来与Heritrix相同)
• jrobotx

有谁知道一个可以做到这一点的java库？