为Scrapy构建RESTful Flask API

Question

API应该允许包含用户想要抓取的URL的任意HTTP get请求,然后Flask应该返回scrape的结果.

以下代码适用于第一个http请求,但在反应器停止后,它将不会重新启动.我甚至可能不会以正确的方式解决这个问题,但我只是想在Heroku上放置一个RESTful scrapy API,到目前为止,我所能想到的就是它.

有没有更好的方法来构建这个解决方案？或者如何scrape_it在不停止扭曲的反应堆(不能再次启动)的情况下允许返回？

from flask import Flask
import os
import sys
import json

from n_grams.spiders.n_gram_spider import NGramsSpider

# scrapy api
from twisted.internet import reactor
import scrapy
from scrapy.crawler import CrawlerRunner
from scrapy.xlib.pydispatch import dispatcher
from scrapy import signals

app = Flask(__name__)


def scrape_it(url):
    items = []
    def add_item(item):
        items.append(item)

    runner = CrawlerRunner()

    d = runner.crawl(NGramsSpider, [url])
    d.addBoth(lambda _: reactor.stop()) # <<< TROUBLES HERE ???

    dispatcher.connect(add_item, signal=signals.item_passed)

    reactor.run(installSignalHandlers=0) # the script will block here until the crawling is finished


    return items

@app.route('/scrape/<path:url>')
def scrape(url):

    ret = scrape_it(url)

    return json.dumps(ret, ensure_ascii=False, encoding='utf8')


if __name__ == '__main__':
    PORT = os.environ['PORT'] if 'PORT' in os.environ else 8080

    app.run(debug=True, host='0.0.0.0', port=int(PORT))

Answer 1

我认为没有一种好方法可以为Scrapy创建基于Flask的API.Flask不是一个正确的工具,因为它不是基于事件循环.更糟糕的是,Twisted reactor(Scrapy使用的)无法在单个线程中多次启动/停止.

让我们假设Twisted reactor没有问题,您可以启动和停止它.它不会使事情变得更好,因为你的scrape_it函数可能会长时间阻塞,所以你需要很多线程/进程.

我认为要采用的方法是使用Twisted或Tornado等异步框架创建API; 它将比基于Flask(或基于Django)的解决方案更有效,因为API将能够在Scrapy运行蜘蛛时提供请求.

Scrapy基于Twisted,因此使用twisted.web或https://github.com/twisted/klein可以更直接.但是龙卷风也不难,因为你可以使用Twisted事件循环.

有一个名为ScrapyRT的项目,它的功能与您想要实现的功能非常相似 - 它是Scrapy的HTTP API.ScrapyRT基于Twisted.

作为Scrapy-Tornado集成检查Arachnado的一个例子- 这里是一个关于如何将Scrapy的CrawlerProcess与Tornado的应用程序集成的示例.

如果你真的想要基于Flask的API,那么在单独的进程中开始抓取和/或使用像Celery这样的队列解决方案是有意义的.这样你就失去了大部分的Scrapy效率; 如果你这样走,你也可以使用requests + BeautifulSoup.

Answer 2

上周我一直在从事类似的项目，它是 SEO 服务 API，我的工作流程是这样的：

• 客户端向基于 Flask 的服务器发送一个请求，其中包含要抓取的 URL，以及在抓取完成时通知客户端的回调 URL（这里的客户端是另一个 Web 应用程序）
• 使用Celery在后台运行 Scrapy 。蜘蛛会将数据保存到数据库中。
• 当蜘蛛完成后，后台服务将通过调用回调 url 来通知客户端。