使用selenium python webdriver滚动网页

Question

我正在抓取这个网页上的用户名,滚动后加载用户

网址:" http://www.quora.com/Kevin-Rose/followers "

我知道页面上的用户数量(在这种情况下编号为43812)如何滚动页面直到所有用户都被加载？我已经在互联网上搜索了同样的内容,并且在任何地方我都得到了几乎相同的代码行,这样做:

driver.execute_script("window.scrollTo(0,)")

如何确定垂直位置以确保所有用户都已加载？有没有其他选项来实现相同的东西而不实际滚动？

   from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
import urllib

driver = webdriver.Firefox()
driver.get('http://www.quora.com/')
time.sleep(10)

wait = WebDriverWait(driver, 10)

form = driver.find_element_by_class_name('regular_login')
time.sleep(10)
#add explicit wait

username = form.find_element_by_name('email')
time.sleep(10)
#add explicit wait

username.send_keys('abc@gmail.com')
time.sleep(30)
#add explicit wait

password = form.find_element_by_name('password')
time.sleep(30)
#add explicit wait

password.send_keys('def')
#add explicit wait

password.send_keys(Keys.RETURN)
time.sleep(30)

#search = driver.find_element_by_name('search_input')
search = wait.until(EC.presence_of_element_located((By.XPATH, "//form[@name='search_form']//input[@name='search_input']")))

search.clear()
search.send_keys('Kevin Rose')
search.send_keys(Keys.RETURN)

link = wait.until(EC.presence_of_element_located((By.LINK_TEXT, "Kevin Rose")))
link.click()
#Wait till the element is loaded (Asynchronusly loaded webpage)

handle = driver.window_handles
driver.switch_to.window(handle[1])
#switch to new window 

element = WebDriverWait(driver, 2).until(EC.presence_of_element_located((By.PARTIAL_LINK_TEXT, "Followers")))
element.click()

Answer 1

由于加载最后一个关注者存储桶后没有出现任何特殊情况，因此我依赖这样一个事实：您知道用户有多少关注者，并且您知道每次向下滚动时加载了多少个关注者（我已经检查过 - 它是 18每卷）。因此，您可以计算需要向下滚动页面多少次。

下面是实现（我使用了一个只有 53 个关注者的不同用户来演示该解决方案）：

import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

followers_per_page = 18

driver = webdriver.Chrome()  # webdriver.Firefox() in your case
driver.get("http://www.quora.com/Andrew-Delikat/followers")

# get the followers count
element = WebDriverWait(driver, 2).until(EC.presence_of_element_located((By.XPATH, '//li[contains(@class, "FollowersNavItem")]//span[@class="profile_count"]')))
followers_count = int(element.text.replace(',', ''))
print followers_count

# scroll down the page iteratively with a delay
for _ in xrange(0, followers_count/followers_per_page + 1):
    driver.execute_script("window.scrollTo(0, 10000);")
    time.sleep(2)

10000另外，如果有大量关注者，您可能需要根据循环变量增加此Y 坐标值。