小编Coo*_*ata的帖子

如何用 Python 抓取 javascript 网站?

我正在尝试抓取一个网站。我尝试过使用两种方法,但两种方法都没有为我提供我正在寻找的完整网站源代码。我正在尝试从下面提供的网站 URL 中抓取新闻标题。

网址:“https://www.todayonline.com/”

这是我尝试过但失败的两种方法。

方法一:美汤

tdy_url = "https://www.todayonline.com/"
page = requests.get(tdy_url).text
soup = BeautifulSoup(page)
soup  # Returns me a HTML with javascript text
soup.find_all('h3')

### Returns me empty list []
Run Code Online (Sandbox Code Playgroud)

方法二:Selenium + BeautifulSoup

tdy_url = "https://www.todayonline.com/"

options = Options()
options.headless = True

driver = webdriver.Chrome("chromedriver",options=options)

driver.get(tdy_url)
time.sleep(10)
html = driver.page_source

soup = BeautifulSoup(html)
soup.find_all('h3')

### Returns me only less than 1/4 of the 'h3' tags found in the original page source 
Run Code Online (Sandbox Code Playgroud)

请帮忙。我尝试过抓取其他新闻网站,这要容易得多。谢谢。

python selenium beautifulsoup

6
推荐指数
1
解决办法
2万
查看次数

标签 统计

beautifulsoup ×1

python ×1

selenium ×1