获取Google搜索请求

Question

我正在尝试使用Google的搜索结果获取HTML.以发送GET请求为例:

https://www.google.ru/?q=1111

但是如果在浏览器中一切正常,当我尝试使用curl或者在Google中使用"查看源代码"获取源代码时,只有一些Javascript代码,没有搜索结果.这是某种保护吗？我能做什么？

Answer 1

您现在必须使用Google Search API发出GET请求.

所有其他方法都被阻止了.

Answer 2

您可以将其加载到浏览器中，然后通过 Javascript 抓取结果。

或者你可以使用Google API，但如果你每天请求超过100次，似乎需要付费。