获取谷歌搜索结果的正确方法是什么？

Question

我想在谷歌上获取特定关键字搜索的所有搜索结果.我已经看到了刮痧的建议,但这似乎是一个坏主意.我见过Gems(我计划使用ruby),它会刮掉并使用API​​.我也看到了使用API​​的建议.

有谁知道现在最好的方法吗？API不再受支持,我看到有人报告说他们无法获得无法使用的数据.宝石是帮助解决这个问题还是不解决？

提前致谢.

Answer 1

我也选择了scrape选项,它比谷歌要求密钥和加号更快,而且你不仅限于每天100次搜索查询.正如理查德指出的那样,Google的服务条款是一个问题.这是我做过的一个例子,对我来说很有用 - 如果你想通过代理连接它也很有用:

require 'rubygems'
require 'mechanize'

agent = Mechanize.new
agent.set_proxy '78.186.178.153', 8080
page = agent.get('http://www.google.com/')

google_form = page.form('f')
google_form.q = 'new york city council'

page = agent.submit(google_form, google_form.buttons.first)

page.links.each do |link|
    if link.href.to_s =~/url.q/
        str=link.href.to_s
        strList=str.split(%r{=|&}) 
        url=strList[1] 
        puts url
    end 
end

Answer 2

根据http://code.google.com/apis/websearch/，搜索 API 已被弃用 - 但有一个替代品，即自定义搜索 API。这会达到你想要的效果吗？

如果是这样，快速网络搜索就会发现https://github.com/alexreisner/google_custom_search以及其他宝石。