Python Selenium 启用 Javascript 问题

Question

我正在尝试使用 python selenium 从网站上抓取一些信息。但是，当我提交表单时，结果页面一直显示“您的 Web 浏览器需要 JavaScript 才能访问该页面”。谁能让我知道如何解决这个问题？

请参阅下面的我的代码：

from selenium import webdriver

profile = webdriver.FirefoxProfile()
profile.set_preference("general.useragent.override", "Mozilla/5.0 (X11; Linux x86_64; rv:38.0) Gecko/20100101 Firefox/38.0")
profile.set_preference("javascript.enabled", True)
broswer = webdriver.Firefox(profile)
broswer.get(http://www.cathaypacific.com/cx/en_CA.html)

input = broswer.find_element_by_id('depart-label')
input.clear()
input.send_keys('Hong')

WebDriverWait(broswer, 10, poll_frequency=0.1).until(lambda drv:    len(drv.find_elements_by_css_selector("ul.ui-autocomplete li")) > 0)
broswer.find_element_by_css_selector("ul.ui-autocomplete li").click()

time.sleep(3)
input = broswer.find_element_by_id('destination-label')
input.send_keys('van')
WebDriverWait(broswer, 10, poll_frequency=0.1).until(lambda drv: len(drv.find_elements_by_css_selector("ul.ui-autocomplete li")) > 0)
broswer.find_element_by_css_selector("#ui-id-2 li").click()

broswer.find_element_by_class_name("button-submit").click()

Answer 1

代码本身并没有什么问题。这是第一次对我有用。

现在，真正的问题是这个特定的网站正在使用名为Distil Networks的第三方反网页抓取服务，该服务显然有一种检测 selenium-webdriver 支持的浏览器的方法，更多信息如下：

• 网站可以检测到您何时将 selenium 与 chromedriver 一起使用吗？