在Scrapy蜘蛛中无需请求即可产生物品

Pau*_*ell 5 scrapy python-3.x

我想要一个 Scrapy 蜘蛛在不先发出请求的情况下生成一个项目。我需要以下功能,但不需要向 example.com 发出请求。

class TestSpider:
    name = "test"

    def __init__(self, item, *args, **kwargs):
        self.item = item

    def start_requests(self):
        yield scrapy.Request('https://example.com/', callback=self.parse)

    def parse(self, response):
        yield self.item
Run Code Online (Sandbox Code Playgroud)

我尝试直接从 生成项目start_requests,但 Scrapy希望它返回一个可迭代的scrapy.Request对象。

直接从构造函数产生当然也是行不通的,因为构造函数必须返回None