小编Jos*_*sre的帖子

在Python中对包含电子邮件功能(丢失密码,用户激活)的RESTful API进行单元测试的最佳方法是什么？一切都是通过HTTP POST/GET和身份验证完成的,此时不涉及.我会使用请求库并手动执行我想要的所有操作吗？是否可以使用请求自动执行涉及电子邮件的单元测试部分？

我在使用Scrapy时遇到了麻烦.我需要的代码每个给定网址最多可以删除1000个内部链接.我的代码在命令行运行时有效,但蜘蛛不会停止,只接收消息.

我的代码如下:

from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.item import Item, Field
from scrapy.contrib.closespider import CloseSpider

class MyItem(Item):
    url= Field()

class MySpider(CrawlSpider):
    name = 'testspider1'
    allowed_domains = ['angieslist.com']
    start_urls = ['http://www.angieslist.com']

    rules = (Rule(SgmlLinkExtractor(), callback='parse_url', follow=True), )

    def parse_url(self, response):
        item = MyItem()
        item['url'] = response.url

        scrape_count = self.crawler.stats.get_value('item_scraped_count')
        print scrape_count

        limit = 10

        if scrape_count == limit:
            raise CloseSpider('Limit Reached')

        return item