汤和美丽汤有什么区别

Ani*_*tha 2 web-scraping

我已经读过scrapy是一个网络爬网工具,漂亮的汤是scrapy的库。但是我的朋友说,两者是不同的,我们可以在美丽汤中完成相同的任务,这是通过刮擦来实现的。我朋友的观点正确吗?我也有疑问,beautifulsoup是scrapy的一部分,还是另外一个?请给我提意见

dec*_*eze 5

美丽的汤是用于HTML解析和操作的库。它接收一个 HTML文档,并允许您通过简单的函数调用对其进行导航和操作。

Scrapy是用于管理下载的工具。它使用一个URL,下载该URL上的数据,可能解析该HTML(使用您想要的任何方式,您可以使用它来制作漂亮的汤),排队更多的URL进行下载并并行管理多个下载器。

Scrapy是并行管理许多HTML文档下载的工具,漂亮的汤是解析一个HTML文档并可以对其内容进行有趣操作的工具。您可能会结合使用这两种方法来抓取网站。

  • 同样,是的,您可以在 scrapy 中使用 BS 来*处理*下载的 HTML。请参阅 http://doc.scrapy.org/en/latest/topics/loaders.html。这显示了一个使用 scrapy 的 XPATH 表达式解析 HTML 的示例。但是你可以很容易地用 BS 替换该代码来解析 HTML。 (2认同)