我曾经使用Web Harvest了几次,这对于网页抓取非常有用.
Web-Harvest是用Java编写的开源Web数据提取工具.它提供了一种收集所需网页并从中提取有用数据的方法.为了做到这一点,它利用完善的技术和技术进行文本/ xml操作,如XSLT,XQuery和正则表达式.Web-Harvest主要关注基于HTML/XML的网站,这些网站仍然是绝大多数的Web内容.另一方面,它可以很容易地通过自定义Java库进行补充,以增强其提取功能.
或者,您可以使用诸如JTidy首先将HTML文档转换为XHTML,然后处理所需信息等工具来滚动自己的Web scraper XPath.例如,一个非常天真的XPath表达式来提取所有的超链接http://www.wired.com,就像是//a[contains(@href,'wired')]/@href.在针对类似问题的答案中,您可以找到此方法的一些示例代码.
| 归档时间： |
|
| 查看次数： |
3260 次 |
| 最近记录： |