我正在寻找Java中的robots.txt解析器,它支持与Googlebot 相同的模式匹配规则.
我找到了一些解析robots.txt文件的库,但它们都不支持Googlebot样式的模式匹配:
有谁知道一个可以做到这一点的java库?
java robots.txt web-applications wildcard
java ×1
robots.txt ×1
web-applications ×1
wildcard ×1