使用Google自定义搜索API时,"每日限制超出"

Question

我想抓取200个结果大约2000个查询,但它给了我"超出每日限制"的错误.

我想确认每天可以抓取多少结果.有没有解决方案可以解决这个问题？或者唯一的方法是每天抓取一小部分查询......？

我抓取谷歌的代码如下:

def crawl(query_list):
    http = httplib2.Http()

    # Construct the service object for the interacting with the CustomSearch API.
    service = discovery.build('customsearch', 'v1',  developerKey='my api key', http=http)

    res_list = []
    for query in query_list:
        json_res = service.cse().list(q = query, cx = 'my search engine id', num = 200,).execute()
        res_list.append(json_res)

谢谢!

Answer 1

根据这篇文章:

每天前100个查询是免费的.此外,您必须每1000次查询支付5美元,每天最多10,000次查询,只需启用结算即可.每个查询最多返回10个结果,因此您可以每天从搜索中免费检索1000个URL.