小编Kar*_*nis的帖子

Node.js或Ruby for Scraping

我正在尝试制作一个需要从多个网站抓取大量数据的应用程序.我尝试使用Ruby来抓取网站,但像Mechanize这样的宝石似乎只是抓取静态页面而不是动态内容.关于这个项目中我应该使用哪种语言或任何其他语言,我有几个问题(我正在考虑使用Node,因为应用程序中的很多元素必须是实时的).

  1. 是否可以使用Ruby和/或Node来抓取动态内容?如果是这样,应该使用哪些工具?
  2. 如果多个用户要从多个站点进行搜索,您会建议使用哪种语言?
  3. 稍微不相关的说明,是否可以组合Node和Rails?

提前致谢!

ruby screen-scraping node.js web-scraping ruby-on-rails-3

1
推荐指数
1
解决办法
799
查看次数