使用"下一步"按钮Python进行Web Scraping

Question

我正在收到网页评论,需要扫描每个页面,直到不再有任何评论为止.评论页面有多个页面,我的第一个想法是使用While循环,但是,我不确定从哪里开始.网页的HTML代码看起来与此类似.

最后一页的HTML代码;

任何帮助表示赞赏.

Answer 1

尝试点击Next可以找到它:

from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException

driver = webdriver.Firefox()
driver.get("http://www.some_site.com")
while True:
    # do whatever you want
    try:
        driver.find_element_by_xpath('//a/span[text()="Next"]').click()
    except NoSuchElementException:
        break