小编Muh*_*han的帖子

如何一次性抓取 100 多个谷歌页面

我正在使用 python 中的请求库来GET获取来自谷歌结果的数据。https://www.google.com.pk/#q=pizza&num=10将返回我提到的 google 的前 10 个结果num=10。最终https://www.google.com.pk/#q=pizza&num=100将返回 100 个 google 结果。

如果我写的任何数字超过 100,让https://www.google.com.pk/#q=pizza&num=200,谷歌仍然返回前 100 个结果

如何一次获得100多个?

代码:

import requests
url = 'http://www.google.com/search'
my_headers = { 'User-agent' : 'Mozilla/11.0' }
payload = { 'q' : pizza, 'start' : '0', 'num' : 200 }
r = requests.get( url, params = payload, headers = my_headers )
Run Code Online (Sandbox Code Playgroud)

在“r”中,我只得到 google 前 100 个结果的 URL,而不是 200

python html-parsing web-scraping google-custom-search python-requests

1
推荐指数
1
解决办法
5139
查看次数