Wget无法获取谷歌搜索结果

Question

我注意到在运行wget https://www.google.com/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=foo和类似的查询时,我没有得到搜索结果,但谷歌主页.

谷歌页面似乎有一些重定向.有没有人知道修复,wget所以它会工作？

Answer 1

您可以使用此curl命令来提取Google查询结果:

curl -sA "Chrome" -L 'http://www.google.com/search?hl=en&q=time' -o search.html

使用httpsURL:

curl -k -sA "Chrome" -L 'https://www.google.com/search?hl=en&q=time' -o ssearch.html

-A选项会Chrome在向Google提出请求时设置自定义用户代理.

Answer 2

#q=foo是你的提示,因为这是一个片段ID,永远不会被发送到服务器.我猜你在使用实时搜索功能时只是从你的浏览器URL栏中获取了这个URL.由于它是用很多客户端魔法实现的,所以你不能依赖它来工作; 尝试使用谷歌禁用实时搜索.似乎有效的URL模式如下所示:http://www.google.com/search?hl=en&q=foo.

但是,我确实注意到Google 403 Forbidden在天真地回复时会返回wget,表示他们不想这样做.您可以通过设置其他用户代理字符串轻松地通过它,但在定期执行此操作之前,请考虑所有含义.