Ruby替代Scrapy?

Avi*_*hai 11 ruby python screen-scraping scrapy

什么是一些基于Ruby的工具可以帮助我实现类似于Scrapy为python做的事情? http://doc.scrapy.org/intro/overview.html

Anu*_*rag 11

机械化这是在引入nokogiri建.

Nokigiri这是基于XPath的.

Hpricot是另一种工具.

Scrapi这是基于CSS选择器来获取信息,而是执行根据我的测试比引入nokogiri慢.

scRUBYt.

我确定还有其他人,但这些是我遇到过的.

如果您没有找到解决问题的单一工具,请检查像Anemone这样的Web抓取库,并将其与上面列出的一个低级抓取框架结合使用.

或者继续学习Python.它会扩展你在编程世界中的业力.

  • 但是......爬行只是Scrapy的一个方面.它具有许多适用于任何类型的抓取的功能,例如用于存储结果的项目和管道.您链接的工具似乎与lxml或BeautifulSoup相当,而不是Scrapy. (5认同)
  • 据我所知(我不知道Ruby),这些模块只是HTML/XML解析器,而不是像Scrapy这样的框架. (2认同)