Jim*_*kar 6 ruby seo friendly-url ruby-on-rails nokogiri
我正在开发一个rails应用程序,需要检查输入的网站是否生成了搜索引擎友好的URL.我想到的解决方案是使用nokogiri解析网站的HTML并查看链接标记以查找URL和看看它们是否对搜索引擎友好.是否还有其他方法可以做到这一点？任何帮助都会非常棒.
你有两个问题:
你如何正式(以编程方式)定义"搜索引擎frienldy URL是什么".我假设你已经有办法做到这一点了.离开......
如何检查网站上的所有链接.
因此对于(2)我会看一些像Anemone这样的东西,它可以让你轻松抓取整个网站:
Anemone是一个Ruby库,可以快速轻松地编写蜘蛛网站的程序.它提供了一个简单的DSL,用于在站点的每个页面上执行操作,跳过某些URL,以及计算站点上给定页面的最短路径.
多线程设计使Anemone变得快速.API使它变得简单.Ruby的表现力使它变得强大.
对于简单的爬行,Anemone甚至会在页面上为您提供所有链接的数组,因此您甚至不一定需要Nokogiri.对于更复杂的东西,你可能希望将Anemone与Mechanize和Nokogiri 这样的东西结合起来.这取决于您的要求.
| 归档时间： |
|
| 查看次数： |
257 次 |
| 最近记录： |