使用“mlflow 模型服务”CLI 提供 MLflow 模型时，如何设置自定义的 Gunicorn 工作线程超时？

Question

当使用“pyfunc”后端（https://github.com/mlflow/mlflow/blob/master/mlflow/pyfunc/backend.py）提供MLflow Python模型时，如何设置自定义gunicorn工作超时？当服务需要很长时间加载的大型模型时，60 秒的默认超时可能不够。

Answer 1

从 MLflow 1.2 开始，您可以通过指定环境变量来设置自定义 Gunicorn 超时GUNICORN_CMD_ARGS。以下示例提供工作线程超时为 120 秒的模型

GUNICORN_CMD_ARGS="--timeout 120" mlflow models serve --model-uri /path/to/model