使用flask-aiohttp的异步子进程

Question

我正在使用FlaskWeb服务器为耗时的计算提供接口.为了提高性能,我想

1. 将计算作为新的子进程启动,以便能够使用多个CPU内核进行多个并发计算
2. 让计算使用异步运行 asyncio

为了asyncio从Flask 调用协同程序,我开始使用flask-aiohttp,这对于简单的延迟任务很有效,如示例所示.但是,我无法从Flask内部调用异步子进程:

#!/usr/bin/env python3
# coding: utf-8

from flask import Flask
from flask.ext.aiohttp import AioHTTP, async

import asyncio
from asyncio.subprocess import PIPE

CALC_SCRIPT = './calc'

app = Flask(__name__)
aio = AioHTTP(app)

@app.route('/calc/<int:n>')
@async
def calc(n):
    print('calc({}) called'.format(n))
    create = asyncio.create_subprocess_exec(CALC_SCRIPT, str(n),
                                            stdout=PIPE, stderr=PIPE)
    print('create... ', end='')
    process = yield from create
    print('process created. {!r}, type={}'.format(process,
                                                  type(process)))
    yield from process.wait()
    print('process finished.')

    # yields (stdout, stderr)
    result = '\n'.join(ch.decode().rstrip() for ch in
                        (yield from process.communicate()) if ch)
    return result

if __name__ == '__main__':
    aio.run(app, debug=True)

正在创建该进程,但永远不会返回:

GET http://127.0.0.1:5000/calc/5
calc(5) called
creating... process created. <Process 5647>,
    type=<class 'asyncio.subprocess.Process'>

我究竟做错了什么？

Answer 1

原因：从子线程运行 asyncio 子进程有限制，请参阅 asyncio 文档 子进程和线程。

详细信息：debug=TrueFlask-aiohttp 在 Werkzeug 启动的子线程中处理请求run_with_reloader。关闭调试，您的代码就可以正确运行。

或者根据上面的文档，Flask-aiohttp 应该asyncio.get_child_watcher()在调用之前添加对 right 的调用run_with_reloader。通过此调用，您的代码甚至可以使用debug=True.