所以我一直在研究10k +页面上的刮刀并从中抓取数据.
问题是随着时间的推移,内存消耗急剧增加.因此,为了克服这一点而不是仅在scrape scraper结束时关闭驱动程序实例,因此它会在每个页面加载并提取数据后关闭实例.
但由于某种原因,ram记忆仍然存在.
我尝试使用PhantomJS但由于某种原因它没有正确加载数据.我还尝试使用初始版本的scraper将Firefox中的缓存限制为100mb,这也不起作用.
注意:我使用chromedriver和firefox实例运行测试,不幸的是我不能使用诸如请求,机械化等库来代替selenium.
任何帮助都表示赞赏,因为我一直试图解决这个问题一周.谢谢.
python firefox selenium selenium-chromedriver selenium-webdriver