小编Bai*_*ili的帖子

我正在使用dryscrape/webkit_server来抓取启用javascript的网站.

每次调用session.visit()时,进程webkit_server的内存使用量似乎都会增加.它发生在我身上使用以下脚本:

import dryscrape

for url in urls: 
    session = dryscrape.Session()
    session.set_timeout(10)
    session.set_attribute('auto_load_images', False)
    session.visit(url)
    response = session.body()

我正在迭代约.300 urls和70-80 urls之后webkit_server占用大约3GB的内存.然而,对我来说这不是真正的内存问题,但似乎dryscrape/webkit_server在每次迭代时都变得越来越慢.在上述70-80次迭代之后,dryscrape速度很慢,导致超时错误(设置超时= 10秒),我需要中止python脚本.重新启动webkit_server(例如,每30次迭代后)可能有所帮助并且会清空内存,但是我不确定"内存泄漏"是否真的导致干刮越来越慢.

有谁知道如何重启webkit_server所以我可以测试一下？

我没有为这个问题找到一个可接受的解决方法,但是我也不想切换到另一个解决方案(selenium/phantomjs,ghost.py),因为我简单地喜欢dryscrape.Dryscrape正在努力工作.如果一个人没有在一个会话中迭代过多的网址.

这里也讨论了这个问题

https://github.com/niklasb/dryscrape/issues/41

和这里

Webkit_server(从python的dryscrape调用)在访问每个页面时使用越来越多的内存.如何减少使用的内存？