无浏览器的导航实用程序,重量轻,防故障

raj*_*aju 3 python selenium scrapy phantomjs selenium-webdriver

我有一个用例,我需要填写网站中的表单,但无法访问API.目前我们正在使用webdriver和浏览器,但它变得非常繁重而且不是万无一失的,因为该过程是异步的.有没有办法可以在没有浏览器的情况下完成它,并通过密切监视待处理的请求来使进程同步?

Casperjs和htmlunitdriver似乎是我拥有的最佳选择.有人可以解释维护,防故障,重量轻的优点或缺点.

我需要浏览复杂和许多不同类型的网页.我想要导航的一些网页是由JS驱动的.

Scrapy可用于此目的吗?

Abh*_*hra 5

使用Htmlunitdriver.为了使它失败证明您将不得不相应地进行一些更改.但它可以在没有浏览器的情况下工作.