如何在python中使用selenium webdriver滚动网页？

Question

我目前正在使用selenium webdriver来解析Facebook用户朋友页面并从AJAX脚本中提取所有ID.但我需要向下滚动才能吸引所有朋友.如何在Selenium中向下滚动.我正在使用python.

Answer 1

您可以使用

driver.execute_script("window.scrollTo(0, Y)") 

其中Y是高度(在全高清监视器上它是1080).(感谢@lukeis)

你也可以使用

driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

滚动到页面底部.

如果你想scrool到一个无限加载的页面,如社交网络,Facebook等(感谢@Cong Tran)

SCROLL_PAUSE_TIME = 0.5

# Get scroll height
last_height = driver.execute_script("return document.body.scrollHeight")

while True:
    # Scroll down to bottom
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

    # Wait to load page
    time.sleep(SCROLL_PAUSE_TIME)

    # Calculate new scroll height and compare with last scroll height
    new_height = driver.execute_script("return document.body.scrollHeight")
    if new_height == last_height:
        break
    last_height = new_height

Answer 2

如果要向下滚动到无限页面的底部(如linkedin.com),可以使用以下代码:

SCROLL_PAUSE_TIME = 0.5

# Get scroll height
last_height = driver.execute_script("return document.body.scrollHeight")

while True:
    # Scroll down to bottom
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

    # Wait to load page
    time.sleep(SCROLL_PAUSE_TIME)

    # Calculate new scroll height and compare with last scroll height
    new_height = driver.execute_script("return document.body.scrollHeight")
    if new_height == last_height:
        break
    last_height = new_height

参考:https://stackoverflow.com/a/28928684/1316860

Answer 3

与此处显示的方法相同:

在python中你可以使用

driver.execute_script("window.scrollTo(0, Y)")

(Y是您要滚动到的垂直位置)

Answer 4

from selenium.webdriver.common.keys import Keys
html = browser.find_element_by_tag_name('html')
html.send_keys(Keys.END)

测试,它的工作原理

Answer 5

element=find_element_by_xpath("xpath of the li you are trying to access")

element.location_once_scrolled_into_view

当我试图访问一个看不见的'li'时,这有帮助.

Answer 6

下面是一个示例 selenium 代码片段，您可以将其用于此类目的。它会转到“枚举 python 教程”上的 YouTube 搜索结果的网址，然后向下滚动，直到找到标题为“枚举 python 教程（2020）”的视频。

driver.get('https://www.youtube.com/results?search_query=enumerate+python')
target = driver.find_element_by_link_text('Enumerate python tutorial(2020).')
target.location_once_scrolled_into_view

Answer 7

出于我的目的，我想向下滚动更多，同时牢记窗口的位置。我的解决方案是相似的，并使用window.scrollY

driver.execute_script("window.scrollTo(0, window.scrollY + 200)")

它将转到当前的y滚动位置+ 200

Answer 8

这是您向下滚动网页的方式：

driver.execute_script("window.scrollTo(0, 1000);")

Answer 9

滚动加载页面。示例：medium、quora 等

last_height = driver.execute_script("return document.body.scrollHeight")
    while True:
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight-1000);")
        # Wait to load the page.
        driver.implicitly_wait(30) # seconds
        new_height = driver.execute_script("return document.body.scrollHeight")
    
        if new_height == last_height:
            break
        last_height = new_height
        # sleep for 30s
        driver.implicitly_wait(30) # seconds
    driver.quit()

Answer 10

此代码滚动到底部，但不需要您每次都等待。它会不断滚动，然后停在底部（或超时）

from selenium import webdriver
import time

driver = webdriver.Chrome(executable_path='chromedriver.exe')
driver.get('https://example.com')

pre_scroll_height = driver.execute_script('return document.body.scrollHeight;')
run_time, max_run_time = 0, 1
while True:
    iteration_start = time.time()
    # Scroll webpage, the 100 allows for a more 'aggressive' scroll
    driver.execute_script('window.scrollTo(0, 100*document.body.scrollHeight);')

    post_scroll_height = driver.execute_script('return document.body.scrollHeight;')

    scrolled = post_scroll_height != pre_scroll_height
    timed_out = run_time >= max_run_time

    if scrolled:
        run_time = 0
        pre_scroll_height = post_scroll_height
    elif not scrolled and not timed_out:
        run_time += time.time() - iteration_start
    elif not scrolled and timed_out:
        break

# closing the driver is optional 
driver.close()

这比每次等待 0.5-3 秒等待响应要快得多，而该响应可能需要 0.1 秒

Answer 11

我正在寻找一种滚动动态网页的方法，并在到达页面末尾时自动停止，并找到了这个线程。

@Cuong Tran的帖子做了一个主要修改，就是我正在寻找的答案。我认为其他人可能会发现修改有用（它对代码的工作方式有明显的影响），因此这篇文章。

修改是将捕获的最后一页高度的声明内循环（使每个检查比较前一页面的高度）。

所以，下面的代码：

不断向下滚动动态网页 ( .scrollTo())，仅在一次迭代中页面高度保持不变时停止。

（还有另一个修改，其中 break 语句位于另一个可以删除的条件内（以防页面“粘住”）。

    SCROLL_PAUSE_TIME = 0.5


    while True:

        # Get scroll height
        ### This is the difference. Moving this *inside* the loop
        ### means that it checks if scrollTo is still scrolling 
        last_height = driver.execute_script("return document.body.scrollHeight")

        # Scroll down to bottom
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

        # Wait to load page
        time.sleep(SCROLL_PAUSE_TIME)

        # Calculate new scroll height and compare with last scroll height
        new_height = driver.execute_script("return document.body.scrollHeight")
        if new_height == last_height:

            # try again (can be removed)
            driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

            # Wait to load page
            time.sleep(SCROLL_PAUSE_TIME)

            # Calculate new scroll height and compare with last scroll height
            new_height = driver.execute_script("return document.body.scrollHeight")

            # check if the page height has remained the same
            if new_height == last_height:
                # if so, you are done
                break
            # if not, move on to the next loop
            else:
                last_height = new_height
                continue

Answer 12

您可以使用send_keys模拟PAGE_DOWN键按下（通常滚动页面）：

from selenium.webdriver.common.keys import Keys
html = driver.find_element_by_tag_name('html')
html.send_keys(Keys.PAGE_DOWN)

Answer 13

这些答案对我都不起作用，至少不是向下滚动Facebook搜索结果页面有效，但经过大量测试，我发现此解决方案：

while driver.find_element_by_tag_name('div'):
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    Divs=driver.find_element_by_tag_name('div').text
    if 'End of Results' in Divs:
        print 'end'
        break
    else:
        continue

Answer 14

我发现解决该问题的最简单方法是选择一个标签，然后发送：

label.sendKeys(Keys.PAGE_DOWN);

希望它能起作用！

Answer 15

与youtube一起使用时，浮动元素的滚动高度为“ 0”，因此请不要使用“ return document.body.scrollHeight”，而是 根据您的互联网尝试使用此“ return document.documentElement.scrollHeight”来调整滚动暂停时间否则它将仅运行一次，然后在此之后中断。

SCROLL_PAUSE_TIME = 1

# Get scroll height
"""last_height = driver.execute_script("return document.body.scrollHeight")

this dowsnt work due to floating web elements on youtube
"""

last_height = driver.execute_script("return document.documentElement.scrollHeight")
while True:
    # Scroll down to bottom
    driver.execute_script("window.scrollTo(0,document.documentElement.scrollHeight);")

    # Wait to load page
    time.sleep(SCROLL_PAUSE_TIME)

    # Calculate new scroll height and compare with last scroll height
    new_height = driver.execute_script("return document.documentElement.scrollHeight")
    if new_height == last_height:
       print("break")
       break
    last_height = new_height