API捕获所有分页数据？（蟒蛇）

Question

我正在使用请求包来访问API（greenhouse.io）。该API是分页的，因此我需要遍历页面以获取所需的所有数据。使用类似：

results = []
for i in range(1,326+1):
    response = requests.get(url, 
                            auth=(username, password), 
                            params={'page':i,'per_page':100})
    if response.status_code == 200:
        results += response.json()

我知道通过点击headers属性有326页：

In [8]:
response.headers['link']
Out[8]:
'<https://harvest.greenhouse.io/v1/applications?page=3&per_page=100>; rel="next",<https://harvest.greenhouse.io/v1/applications?page=1&per_page=100>; rel="prev",<https://harvest.greenhouse.io/v1/applications?page=326&per_page=100>; rel="last"'

有什么方法可以自动提取此数字？使用请求包？还是我需要使用正则表达式或其他东西？

另外，我是否应该以某种方式使用while循环来获取所有这些数据？什么是最好的方法？有什么想法吗？

Answer 1

python请求库（http://docs.python-requests.org/en/latest/）在这里可以提供帮助。基本步骤将是（1）所有请求并获取标题中的链接（您将使用它来获取最后一页的信息），然后（2）循环搜索结果，直到到达最后一页。

import requests

results = []

response = requests.get('https://harvest.greenhouse.io/v1/applications', auth=('APIKEY',''))
raw = response.json()  

for i in raw:  
    results.append(i) 

while response.links['next'] != response.links['last']:  
    r = requests.get(r.links['next'], auth=('APIKEY', '')  
    raw = r.json()  
    for i in raw:  
        results.append(i)