作为项目的一部分,我正在执行网络抓取以从网站获取数据。我可以发出请求并获取dom中存在的数据。但是,一些数据在 javascript onClick 函数上呈现。
一种方法可能是,使用 selenium 单击链接(调用 javascript 函数)并获取呈现的数据,但这个过程很耗时,我不想打开浏览器。
除了硒之外还有其他方法可以实现吗?
网址:http : //catalog.fullerton.edu/preview_entity.php?catoid=16&ent_oid=1849
在本网页的课程部分,所有课程都是超链接,只要有人点击课程,就会调用一个 javascript 方法。我需要在 javascript 函数调用后呈现的数据。