如何使用带有Python的Selenium模块在变量中获取HTML源代码?
我想做这样的事情:
from selenium import webdriver
browser = webdriver.Firefox()
browser.get(raw_input("Enter URL: "))
if "whatever" in html_source:
# Do something
else:
# Do something else
Run Code Online (Sandbox Code Playgroud)
我怎样才能做到这一点?我不知道如何访问HTML源代码.
我一直在使用 requests 和 BeautifulSoup for python 从基本网站中抓取 html,但大多数现代网站不仅仅提供 html 结果。我相信他们运行 javascript 或其他东西(我不是很熟悉,有点菜鸟)。我想知道是否有人知道如何在谷歌航班上搜索航班并抓取最高结果(即最便宜的价格)?
如果这是简单的 html,我可以解析 html 树并找到文本结果,但是当您查看“页面源代码”时,这不会出现。如果您在浏览器中检查该元素,您可以看到 hmtl 标签内的价格,就像您正在查看基本网站的常规页面源一样。
检查元素有 html 但页面源没有,这是怎么回事?有谁知道如何抓取此类数据?
非常感谢!