scrapy：查找具有特定文本的元素

Question

我正在用草皮爬行。我正在获取网站的全部内容。

import scrapy
import os

class QuotesSpider(scrapy.Spider):
    name = "team"

    def start_requests(self):
        yield scrapy.Request(url='http://*****.com', callback=self.get_scripts)

    def get_scripts(self, response):
        print response.css("body").extract()

    def get_scripts(self, response):
        print response.css("body").extract()

现在我正在搜索文本，我可以通过python通过简单的搜索文本/子字符串来获取。我想要的是选择此文本匹配的选择器。请告知执行此操作的最佳方法是什么。

Answer 1

你可以做这样的事情。

import logging
logging.info(response.xpath("//*[contains(text(), 'MY TEXT')]"))

这将打印出带有刮擦值和选择器的整个对象。