生成图表的数据请求始终为空

Question

我正在尝试使用 python 的请求模块来抓取在网站上生成图表的数据。

我的代码目前如下所示：

# load modules
import os
import json
import requests as r

# url to send the call to
postURL = <insert website>

# utiliz get to pull cookie data
cookie_intel = r.get(postURL, verify = False)

# get cookies
search_cookies = cookie_intel.cookies

#### Request Information ####

# API request data
post_data = <insert request json>

# header information
headers = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36"}

# results 
results_post = r.post(postURL, data = post_data, cookies = search_cookies, headers = headers, verify = False)

# result
print(results_post.json())

作为一个快速总结，我首先加载站点，然后检查它，从那里我在网络选项卡中识别了请求的 url，然后在有效负载选项卡中检查了所需的请求数据。然后我从请求标头选项卡中获取用户代理。

请求本身有效，但是它始终为空。我尝试过改变各种输入，但没有成功。我非常感谢任何能帮助我解决这个问题的提示。先感谢您！

Answer 1

在这种情况下，您必须使用json=而不是data=根据请求文档发出发布请求时。通过替换这部分代码，您应该得到预期的响应。

results_post = r.post(postURL, json = post_data, cookies = search_cookies, headers = headers, verify = False)

您还可以尝试其他抓取工具（例如Scrapy）来抓取这些数据，并可能使用estela在云上运行爬虫。