Python - selenium webdriver在循环中停留在.get()

Question

我有一个Python代码片段,它使用Selenium Webdriver来循环一些历史性的棒球赔率.代码的第一部分旨在从调度表(包含大约57个需要循环的页面)中获取所有单独的游戏URL,并将它们存储在列表中.

我第一次测试它它工作得很好 - 现在,无论出于何种原因,driver.get()函数似乎无法正常工作.会发生的事情是webdriver在pageRange循环(第2页)中启动第一个.get()方法,但在此之后,在循环的下一次迭代中它会卡住并且不会导航到第3页.没有错误消息或崩溃.

使用print()进行一些手动错误检查表明代码的所有其他区域都正常.这个问题可能是什么原因？

编辑1:如上所述,代码实际上在第一次.get()调用之后立即卡住,而不是在第二次调用之前.我还注意到.get()函数在循环访问游戏URL时在代码中运行得很好.出于某种原因,它是专门的" http://www.oddsportal.com/baseball/usa/mlb-2017/results/#/page/2/ ","" http://www.oddsportal.com/baseball/美国/ mlb-2017/results /#/ page/3 / "等,它被卡住了.

season = str(2017)

URL = "http://www.oddsportal.com/baseball/usa/mlb-" + season + "/results/#/"
chrome_path = r"C:\Users\dansl110\Dropbox\Betting Project/chromedriver.exe"

OddsList = pd.DataFrame(columns=["Date", "HomeTeam", "AwayTeam", "HomeOdds", 
"AwayOdds", "Accuracy"])

GameURLs = []
StartURL = 2

#Gets GameURLs and EndPage from Page 1
driver = webdriver.Chrome(chrome_path)
driver.get(URL)
elems = driver.find_elements_by_xpath("//a[@href]")
for elem in elems:
    link = elem.get_attribute("href")
    if "/results/#/page/" in link:
        EndURL = int(''.join(c for c in link if c in digits))
    elif "/mlb" in link and len(str(link)) > 58 and "results" not in link:
        GameURLs.append(link)

PageRange = range(StartURL, EndURL - 5)

#Gets remaining GameURLs
for page in PageRange:
    oldURL = URL
    URL = "http://www.oddsportal.com/baseball/usa/mlb-" + season + 
    "/results/#/page/" + str(page) + "/"
    #This .get() works only during the first iteration of the range loop
    driver.get(URL)
    time.sleep(3)
    elems = driver.find_elements_by_xpath("//a[@href]")
    for elem in elems:
        link = elem.get_attribute("href")
        if "/nhl" in link and len(str(link)) > 65 and "results" not in link:
            GameURLs.append(link)

Answer 1

从今天开始,我遇到了同样的问题.我发现任何运行64.-Chrome 版本的机器都有间歇性悬挂问题,但运行的机器63.-却没有.去chrome://settings/help检查哪个版本:

如果您正在运行该版本.尝试在此处下载Chromedriver版本(2.35):https://sites.google.com/a/chromium.org/chromedriver/downloads

我尝试了这个,似乎有点悬挂,但它似乎仍在发生.

解决这个问题的唯一方法是回归构建63.-Chrome.

希望它能帮到你.

编辑:

我发现这个帖子会有所帮助!在创建驱动程序之前将其添加到脚本中:

from selenium import webdriver

ChromeOptions = webdriver.ChromeOptions()
ChromeOptions.add_argument('--disable-browser-side-navigation')
driver = webdriver.Chrome('your/path/to/chromedriver.exe', chrome_options=ChromeOptions)

Chrome版本发布65.-后,将会修复.在此期间,如果您还在,请使用上述内容64.-