我可以使用硒与Scrapy,而无需使用python实际打开浏览器

Question

我想用scrapy和python进行一些网络爬行.我发现很少有来自互联网的代码示例,他们使用selenium和scrapy.

我不太了解,selenium但只知道它自动化一些Web任务.和浏览器实际上打开并执行操作.但我不希望实际的浏览器打开,但我想从命令行发生一切.

我可以在硒和scrapy中做到这一点

Answer 1

更新:PhantomJS已被放弃,您现在可以直接使用无头浏览器,例如Firefox和Chrome!

请改用PhantomJS.

你可以browser = webdriver.PhantomJS()在selenium v​​2.32.0中做.

Answer 2

您可以将selenium与PyVirtualDisplay一起使用,至少在linux上使用.

from pyvirtualdisplay import Display
from selenium import webdriver
display = Display(visible=0, size=(1024, 768))
display.start()
browser = webdriver.Chrome()