如何刮取HTTPS javascript网页

jsj*_*jsj 12 javascript python java https web-scraping

我试图通过在线目录监控日常价格.该站点使用HTTPS并使用javascript生成目录页面.我如何与网站连接并使其生成我需要的页面?

我已经在其他可以轻松访问HTML的网站上完成了这项工作,生成后解析HTML也没有问题.

我只懂Python和Java.

提前致谢.

Pis*_*3.0 11

看看HTMLUnit - 一个可以完全由代码控制的无头Java浏览器.这里可以看到一个简单的例子:http://htmlunit.sourceforge.net/gettingStarted.html

(强制警告:通过屏幕抓取网站,你可能会破坏它的ToS,并可能打开诉讼;检查你是否被允许在你开始之前这样做)