我试图从 kununu 上的大众汽车页面中提取信息。例如“Pro”信息。
url = 'https://www.kununu.com/de/volkswagen/kommentare'
page = requests.get(url)
soup = bs(page.text, 'html.parser')
divs = soup.find_all(class_="col-xs-12 col-lg-12")
for h2 in soup.find_all('h2', class_='h3', text=['Pro']):
print(h2.find_next_sibling('p').get_text())
Run Code Online (Sandbox Code Playgroud)
但是作为输出,我只有前 10 个“Pro”。看起来它默认只显示前 10 条评论,但是所有不可见的评论都在“col-xs-12 col-lg-12”类下......或者我可能遗漏了一些你能帮我提取所有数据,而不仅仅是第一条10?