我喜欢Nokogiri - 它是从XML和HTML文档中提取元素的绝佳工具.尽管在线示例很好,但它们主要展示了如何操作XML文档.
如何使用Nokogiri从HTML中提取提取链接和链接文本？
fea*_*ool 12
这是一个迷你示例,最初是为了响应在Nokogiri中获取属性的值来提取链接URL,这是在社区Wiki样式中提取的,以便于参考.
以下是在解析HTTP中的链接时可能会执行的一些常见操作,包括css和xpath语法.
从这个片段开始:
require 'rubygems'
require 'nokogiri'
html = <<HTML
<div id="block1">
<a href="http://google.com">link1</a>
</div>
<div id="block2">
<a href="http://stackoverflow.com">link2</a>
<a id="tips">just a bookmark</a>
</div>
HTML
doc = Nokogiri::HTML(html)
我们可以使用xpath或css来查找所有<a>元素,然后只保留具有href属性的元素:
nodeset = doc.xpath('//a') # Get all anchors via xpath
nodeset.map {|element| element["href"]}.compact # => ["http://google.com", "http://stackoverflow.com"]
nodeset = doc.css('a') # Get all anchors via css
nodeset.map {|element| element["href"]}.compact # => ["http://google.com", "http://stackoverflow.com"]
在上述情况下,这.compact是必要的,因为搜索<a>元素除了返回其他元素之外还返回"仅书签"元素.
但我们可以使用更精确的搜索来查找包含href属性的元素:
attrs = doc.xpath('//a/@href') # Get anchors w href attribute via xpath
attrs.map {|attr| attr.value} # => ["http://google.com", "http://stackoverflow.com"]
nodeset = doc.css('a[href]') # Get anchors w href attribute via css
nodeset.map {|element| element["href"]} # => ["http://google.com", "http://stackoverflow.com"]
要查找内的链接 <div id="block2">
nodeset = doc.xpath('//div[@id="block2"]/a/@href')
nodeset.first.value # => "http://stackoverflow.com"
nodeset = doc.css('div#block2 a[href]')
nodeset.first['href'] # => "http://stackoverflow.com"
如果您知道自己只搜索一个链接,则可以使用at_xpath或at_css代替:
attr = doc.at_xpath('//div[@id="block2"]/a/@href')
attr.value # => "http://stackoverflow.com"
element = doc.at_css('div#block2 a[href]')
element['href'] # => "http://stackoverflow.com"
如果您知道与链接相关联的文本并想要查找其网址,该怎么办？一个小的xpath-fu(或css-fu)派上用场:
element = doc.at_xpath('//a[text()="link2"]')
element["href"] # => "http://stackoverflow.com"
element = doc.at_css('a:contains("link2")')
element["href"] # => "http://stackoverflow.com"
为了完整起见,您可以通过以下方式获取与特定链接相关联的文本:
element = doc.at_xpath('//a[@href="http://stackoverflow.com"]')
element.text # => "link2"
element = doc.at_css('a[href="http://stackoverflow.com"]')
element.text # => "link2"
除了广泛的Nokorigi文档之外,我在编写本文时遇到了一些有用的链接: