如何使用Scrapy提取CSS样式

Question

我使用 scrapy 和 selenium webdrivers 进行网络抓取。但我发现 selenium webdriver 非常慢，但我发现提取 webelement 的 CSS 属性更容易，例如。

webElement.value_of_css_property('font-size')

如何仅使用 scrapy 而不使用 selenium webdriver 来实现这一点？

Answer 1

为此，您必须在真实的​​浏览器中呈现内容。Scrapy下载器不是浏览器，只有初始 HTML 页面，没有内置 javascript 引擎，无法下载其他 CSS 或 JS 文件。

用Scrapy你只能获取style一个元素的属性值，但仅此而已。selenium是完成这项工作的工具。

请注意，您可以避免将真实的显示作为依赖项，并在虚拟显示phantomjs中自动执行无头浏览器或其他浏览器。