相关疑难解决方法(0)

如何在Python中使用react.js和Selenium从网页中抓取数据?

我在抓取一个使用的网站时遇到一些困难react.js,但不确定为什么会发生这种情况。

这是网站的 html: 在此输入图像描述

我想做的是单击带有 的按钮class: play-pause-button btn btn -naked。但是,当我使用 Mozilla gecko webdriver 加载页面时,会抛出异常

Message: Unable to locate element: .play-pause-button btn btn-naked
Run Code Online (Sandbox Code Playgroud)

这让我觉得也许我应该做点别的事情来获得这个元素?到目前为止,这是我的代码:

driver.get("https://drawittoknowit.com/course/neurological-system/anatomy/peripheral-nervous-system/1332/brachial-plexus---essentials")
    # execute script to scroll down the page
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);var lenOfPage=document.body.scrollHeight;return lenOfPage;")
    time.sleep(10)        
    soup = BeautifulSoup(driver.page_source, 'lxml')
    print(driver.page_source)
    play_button = driver.find_element_by_class_name("play-pause-button btn btn-naked").click()
    print(play_button)
Run Code Online (Sandbox Code Playgroud)

有谁知道我该如何解决这个问题?任何帮助深表感谢

python selenium web-scraping reactjs webdriverwait

5
推荐指数
1
解决办法
8969
查看次数

从海洋交通页面抓取数据

我正在尝试从此网页抓取数据:海上交通

我确实尝试了 python 和 Selenium 中的正常抓取,但我无法找出任何目标数据。(纬度/经度/速度)

在此输入图像描述

是否有我缺少的特殊格式?

这是我开始的代码

from selenium import webdriver
options = webdriver.ChromeOptions()
options.add_argument('--ignore-certificate-errors')
options.add_argument('--incognito')
options.add_argument('--headless') 
driver = webdriver.Chrome("C:/webdrivers/chromedriver.exe", options=options)
page = driver.page_source
Run Code Online (Sandbox Code Playgroud)

但是通过使用 CTRL + FI 进行简单的文本搜索找不到任何令人满意的内容。

知道如何把它刮下来吗?

谢谢

python selenium web-scraping

0
推荐指数
1
解决办法
2344
查看次数

标签 统计

python ×2

selenium ×2

web-scraping ×2

reactjs ×1

webdriverwait ×1