相关疑难解决方法(0)

Python Selenium访问HTML源代码

如何使用带有Python的Selenium模块在变量中获取HTML源代码?

我想做这样的事情:

from selenium import webdriver
browser = webdriver.Firefox()
browser.get(raw_input("Enter URL: "))
if "whatever" in html_source:
    # Do something
else:
    # Do something else
Run Code Online (Sandbox Code Playgroud)

我怎样才能做到这一点?我不知道如何访问HTML源代码.

python selenium selenium-webdriver

87
推荐指数
5
解决办法
12万
查看次数

如何从不返回简单 HTML 的网站抓取数据

我一直在使用 requests 和 BeautifulSoup for python 从基本网站中抓取 html,但大多数现代网站不仅仅提供 html 结果。我相信他们运行 javascript 或其他东西(我不是很熟悉,有点菜鸟)。我想知道是否有人知道如何在谷歌航班上搜索航班并抓取最高结果(即最便宜的价格)?

如果这是简单的 html,我可以解析 html 树并找到文本结果,但是当您查看“页面源代码”时,这不会出现。如果您在浏览器中检查该元素,您可以看到 hmtl 标签内的价格,就像您正在查看基本网站的常规页面源一样。

检查元素有 html 但页面源没有,这是怎么回事?有谁知道如何抓取此类数据?

非常感谢!

检查元素 JavaScript?

html javascript python selenium web-scraping

5
推荐指数
1
解决办法
1790
查看次数