如何使用 SPARQLWrapper 处理 Wikidata 上的“过多请求”？

Question

我正在遍历users大约 1000 个条目的列表，如下所示：

def wikidata_user_lookup(id_str):
    q = f'''
        SELECT ?item ?itemLabel ?kind ?kindLabel
        WHERE 
        {{
            ?item p:P2002 ?twitter .
            ?item wdt:P31 ?kind .
            ?twitter pq:P6552 "{id_str}" .
            SERVICE wikibase:label {{ bd:serviceParam wikibase:language "[AUTO_LANGUAGE],en". }}
        }}
    '''
    sparql.setQuery(q)
    sparql.setReturnFormat(JSON)
    results = sparql.query().convert()
    results_df = pd.io.json.json_normalize(results['results']['bindings'])
    return results_df

for user in users:
    res = wikidata_user_lookup(user)

所以我提交了大约 1000 个查询，一个接一个。据我所知，我没有并行运行多个查询，所以不应该允许这样做吗？我得到HTTPError: HTTP Error 429: Too Many Requests. 处理这种情况的正确方法是什么？

Answer 1

我建议阅读查询限制官方文档。

它指出您可以运行：

• 一个客户端（用户代理 + IP）每 60 秒允许 60 秒的处理时间
• 一个客户端每分钟允许 30 次错误查询

因此，您的 1000 个查询必须在一分钟内最多 30 个，以避免限制，并且使用少于 60 秒的处理时间。

由于您收到 429 错误，根据上面链接的文档，您应该检查Retry-After标题并等待指定的时间，然后再进行更多查询。