小编nic*_*ckm的帖子

如何从不返回简单 HTML 的网站抓取数据

我一直在使用 requests 和 BeautifulSoup for python 从基本网站中抓取 html,但大多数现代网站不仅仅提供 html 结果。我相信他们运行 javascript 或其他东西(我不是很熟悉,有点菜鸟)。我想知道是否有人知道如何在谷歌航班上搜索航班并抓取最高结果(即最便宜的价格)?

如果这是简单的 html,我可以解析 html 树并找到文本结果,但是当您查看“页面源代码”时,这不会出现。如果您在浏览器中检查该元素,您可以看到 hmtl 标签内的价格,就像您正在查看基本网站的常规页面源一样。

检查元素有 html 但页面源没有,这是怎么回事?有谁知道如何抓取此类数据?

非常感谢!

检查元素 JavaScript?

html javascript python selenium web-scraping

5
推荐指数
1
解决办法
1790
查看次数

标签 统计

html ×1

javascript ×1

python ×1

selenium ×1

web-scraping ×1