Ran*_*ngh 4 python django web-crawler
我需要从我的django网站上的网站获取一些数据.现在我很困惑我是否应该使用python解析库或网络爬行库.搜索引擎库是否属于同一类别
我想知道这两者之间有多大区别,如果我想在我的网站中使用这些功能,我应该使用它们
如果你可以逃脱背景网络爬行使用scrapy.如果需要立即抓取一些东西使用html5lib(更健壮)或lxml(更快).如果您要稍后执行,请使用awesome 请求库.我会避免使用BeautifulSoup,mechanize,urllib2,httplib.