Rails 3从另一个站点提取数据

Question

我在我的一个项目上有一个客户请求,他们希望能够输入一个URL,并从他们输入的网址中提取一些信息并将其保存在数据库中.

因此,用户输入:http://www.example.com/2342342并且我的控制器访问该站点,并获取<h1>Tag</h1>站点上第一个的内容并将其保存在数据库中.这可能吗？如果是这样,我该怎么做呢？我会使用一些rails命令来执行它,或者像jQuery一样的其他东西吗？

Answer 1

Nokogiri是一个很棒的解析器,可以直接使用网址.

那么两个步骤:

1. 使用url作为param实例化Nokogiri对象

2. 解析html页面以获得您的期望

在此处查找说明:http://nokogiri.org/tutorials/parsing_an_html_xml_document.html

因为您将与其他网站合作,请记住以下两条建议:

• 包装您的查询,以便您可以拯救网站是否已关闭

• 考虑使用ajax请求,因为它可能很长