小编elt*_*ton的帖子

Scrapy:如何使用元在方法之间传递项目

我是 scrapy 和 python 的新手,我试图将 parse_quotes 中的项目 item['author'] 传递给下一个解析方法 parse_bio

我尝试了 request.meta 和 response.meta 方法,如 scrapy 文档中所示,但没有成功。请参阅下面的代码。

import scrapy
from tutorial.items import QuotesItem

class QuotesSpider(scrapy.Spider): 

name = "quotes"

    start_urls = [
        'http://quotes.toscrape.com/login',
        #'http://quotes.toscrape.com/page/2',
    ]

    # Scraping a site with login
    # Important: Cookie settings must be "True" to keep the login session alive

    custom_settings = {'COOKIES_ENABLED': True}

    def parse(self, response):
        return scrapy.FormRequest.from_response(
            response,
            formdata={'username': 'john', 'password': 'secret'},
            callback=self.parse_quotes
            )
    
    
    def parse_quotes(self, response):
        for sel in response.css('div.quote'):
            item = QuotesItem()
            item['text'] …
Run Code Online (Sandbox Code Playgroud)

python scrapy

2
推荐指数
1
解决办法
6136
查看次数

标签 统计

python ×1

scrapy ×1