CoM*_*tel 2 python beautifulsoup python-requests
我正在尝试解析用户滚动时加载的网站数据.滚动时可以显示有限数量的元素,但使用此元素只会给出第一部分(112个中的25个):
url = "http://url/to/website"
response = requests.get(url)
soup = BeautifulSoup(response.text)
如何request在返回html之前告诉"滚动"？
编辑:显然请求不要那样做,我可以在Python中使用什么解决方案？
你不能.问题是基于对请求的误解; 它只加载页面的内容.无限滚动由Javascript提供支持,请求不会执行任何操作.
你需要像Selenium这样的浏览器自动化工具来做这件事; 或者找出滚动JS正在使用的Ajax端点并直接加载它.