6 python scrapy web-scraping scrapy-spider
我正在试图废弃一个电子商务网站,我正在分两步完成.
这个网站有这样的结构:
现在我有2只蜘蛛:
我是Scrapy的新手,我正在学习一些教程来实现这一目标.我想知道解析函数和规则如何工作有多复杂.我的蜘蛛现在看起来像:
class GeneralSpider(CrawlSpider):
name = 'domain'
allowed_domains = ['domain.org']
start_urls = ['http://www.domain.org/home']
def parse(self, response):
links = LinksItem()
links['content'] = response.xpath("//div[@id='h45F23']").extract()
return links
Run Code Online (Sandbox Code Playgroud)
class GeneralSpider(CrawlSpider):
name = 'domain'
allowed_domains = ['domain.org']
f = open("urls.txt")
start_urls = [url.strip() for url in f.readlines()]
# Each URL in the file has pagination if it has more than 30 elements
# I don't know how to paginate over each URL
f.close()
def parse(self, response):
item = ShopItem()
item['name'] = response.xpath("//h1[@id='u_name']").extract()
item['description'] = response.xpath("//h3[@id='desc_item']").extract()
item['prize'] = response.xpath("//div[@id='price_eur']").extract()
return item
Run Code Online (Sandbox Code Playgroud)
如果分页是JQuery,意味着URL中没有GET变量,是否可以遵循分页?
我可以在同一个蜘蛛中使用不同的" 规则 "来废弃页面的不同部分吗?或者最好让蜘蛛专业化,每只蜘蛛都专注于一件事?
我也谷歌搜索任何与Scrapy相关的书,但似乎还没有任何完成的书,或者至少我找不到一本书.
这2个URL适用于此示例.在Eroski主页中,您可以获得产品页面的URL.
在产品页面中,您有一个分页项目列表(Eroski项目):
在Eroski Fruits页面中,项目的分页似乎是JQuery/AJAX,因为当你向下滚动时会显示更多项目,有没有办法用Scrapy获取所有这些项目?
让蜘蛛跟随 url 分页的最佳方法是什么?
这是非常特定于站点的,并且取决于分页的实现方式。
如果分页是 JQuery,意味着 URL 中没有 GET 变量,是否可以遵循分页?
这正是您的用例 - 分页是通过额外的 AJAX 调用进行的,您可以在 Scrapy 蜘蛛中模拟这些调用。
我可以在同一个蜘蛛中使用不同的“规则”来抓取页面的不同部分吗?或者让蜘蛛专门化,每只蜘蛛专注于一件事更好?
是的,aCrawlSpider提供的“规则”机制是一项非常强大的技术 - 它是高度可配置的 - 您可以有多个规则,其中一些规则将遵循匹配特定条件的特定链接,或位于页面的特定部分。与拥有多个蜘蛛相比,拥有一个具有多个规则的蜘蛛应该是首选。
谈到您的具体用例,想法如下:
rule在主页的导航菜单中创建一个关注类别和子类别 - 这restrict_xpaths会有帮助yield当Request您打开类别页面时,它会模仿浏览器发送的 AJAX 请求yield另一个项目,但增加GET 参数(获取下一页)Requestpage工作实施示例:
import re
import urllib
import scrapy
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors import LinkExtractor
class ProductItem(scrapy.Item):
description = scrapy.Field()
price = scrapy.Field()
class GrupoeroskiSpider(CrawlSpider):
name = 'grupoeroski'
allowed_domains = ['compraonline.grupoeroski.com']
start_urls = ['http://www.compraonline.grupoeroski.com/supermercado/home.jsp']
rules = [
Rule(LinkExtractor(restrict_xpaths='//div[@class="navmenu"]'), callback='parse_categories')
]
def parse_categories(self, response):
pattern = re.compile(r'/(\d+)\-\w+')
groups = pattern.findall(response.url)
params = {'page': 1, 'categoria': groups.pop(0)}
if groups:
params['grupo'] = groups.pop(0)
if groups:
params['familia'] = groups.pop(0)
url = 'http://www.compraonline.grupoeroski.com/supermercado/ajax/listProducts.jsp?' + urllib.urlencode(params)
yield scrapy.Request(url,
meta={'params': params},
callback=self.parse_products,
headers={'X-Requested-With': 'XMLHttpRequest'})
def parse_products(self, response):
for product in response.xpath('//div[@class="product_element"]'):
item = ProductItem()
item['description'] = product.xpath('.//span[@class="description_1"]/text()').extract()[0]
item['price'] = product.xpath('.//div[@class="precio_line"]/p/text()').extract()[0]
yield item
params = response.meta['params']
params['page'] += 1
url = 'http://www.compraonline.grupoeroski.com/supermercado/ajax/listProducts.jsp?' + urllib.urlencode(params)
yield scrapy.Request(url,
meta={'params': params},
callback=self.parse_products,
headers={'X-Requested-With': 'XMLHttpRequest'})
Run Code Online (Sandbox Code Playgroud)
希望这对您来说是一个良好的起点。
有谁知道是否有一些 Scrapy 书籍即将发布?
我不记得什么具体的事情了。
虽然我听说一些出版商有一些计划可能会出版一本关于网络抓取的书,但我不应该告诉你。
| 归档时间: |
|
| 查看次数: |
1056 次 |
| 最近记录: |