Rej*_*ted 5 python selenium scrapy web-scraping selenium-webdriver
有没有办法有效地将Selenium集成到Scrapy中,以获得页面渲染功能(为了生成屏幕截图)？
我看到的很多解决方案只是在 Scrapy已经处理完请求后在WebDriver上抛出一个Scrapy请求/响应URL ,然后就这样做了.这会产生两倍的请求,在许多方面失败(需要登录的站点,具有动态或伪随机内容的站点等),并使许多扩展/中间件无效.
是否有任何"好"的方式让两个人一起工作？有没有更好的方法来生成我正在抓取的内容的屏幕截图？