Python 3：使用请求无法获取网页的全部内容

Question

我正在测试使用该requests模块来获取网页的内容。但是，当我查看内容时，我发现它没有获得页面的全部内容。

这是我的代码：

import requests
from bs4 import BeautifulSoup

url = "https://shop.nordstrom.com/c/womens-dresses-shop?origin=topnav&cm_sp=Top%20Navigation-_-Women-_-Dresses&offset=11&page=3&top=72"
page = requests.get(url)

soup = BeautifulSoup(page.content, 'html.parser')
print(soup.prettify())

同样，在chrome浏览器中，如果我查看页面源，则看不到全部内容。

有没有办法获取我提供的示例页面的全部内容？

Answer 1

该页面使用JavaScript渲染，发出了更多请求以获取其他数据。您可以使用硒来获取整个页面。

from bs4 import BeautifulSoup
from selenium import webdriver
driver = webdriver.Chrome()
url = "https://shop.nordstrom.com/c/womens-dresses-shop?origin=topnav&cm_sp=Top%20Navigation-_-Women-_-Dresses&offset=11&page=3&top=72"
driver.get(url)
soup = BeautifulSoup(driver.page_source, 'html.parser')
driver.quit()
print(soup.prettify())

有关其他解决方案，请参阅我对“ 刮除Google财务”（BeautifulSoup）的回答