使用 Selenium (Python) 提交 Web 表单后复制结果

Question

我正在尝试使用 Selenium 来（1）在网站中提交查询，然后（2）使用 beautiful soup 复制结果的内容。这是我第一部分的脚本......

from selenium import webdriver

browser = webdriver.Chrome('C:\Users\XXX\Scripts\MyPythonScripts\chromedriver.exe')
browser.get(r'http://www.ars-grin.gov/cgi-bin/npgs/html/tax_search.pl?language=en')

elem = browser.find_element_by_name('search')
elem.send_keys('Syzygium polyanthum')
elem.submit()

对于第二部分，我意识到我必须以某种方式将结果的新 url 复制到变量中，然后才能使用 beautiful soup 来获取内容，但在广泛搜索后我不知道如何做到这一点。

有谁知道这一点，或者有任何替代方法可以达到相同的结果？

Answer 1

据我了解，您希望BeautifulSoup在提交表单后将页面源提供给。如果是这种情况，请使用browser.page_source：

soup = BeautifulSoup(browser.page_source)