小编rag*_*itk的帖子

如何使用 python 从网络浏览器获取内容?

我有一个网页: http://kff.org/womens-health-policy/state-indicator/ultrasound-requirements/# ,我需要从该网页中提取表格。

遇到的问题:我一直在使用BeautifulSoup并请求获取url内容。这些方法的问题是,我什至可以在生成表格之前获取 Web 内容。

所以我得到空表<table><thead></thead><tbody></tbody></table>

我的方法:现在我尝试使用 webbrowser.open_new_tab(url) 在浏览器中打开 url,然后直接从浏览器获取内容。这将使服务器更新表,然后我将能够从页面获取内容。

问题:我不确定如何直接从 Web 浏览器获取信息。

现在我在Windows系统上使用Mozilla。

找到最近的链接网站 链接。但它给出了哪些网站被打开,而不是内容

有没有其他方法可以让表加载到 urllib2 或 beautifulsoup 和 requests 中?或者有什么方法可以直接从网页获取加载的内容。

谢谢

python web-scraping python-webbrowser

5
推荐指数
1
解决办法
1万
查看次数

标签 统计

python ×1

python-webbrowser ×1

web-scraping ×1