正确加载支持多租户的Django中的Keras模型

Question

我尝试在django中编写一个REST api,它使用Keras模型返回预测.但是,该load_model()函数需要一些时间来加载模型,我不希望我的用户必须等待这么长时间(每次初始化模型).初始化模型的正确方法是什么,以便加载一次,并使用相同的模型完成预测？

另外,我认为可以冷却的一种方法是在settings.py中初始化模型,如下所示:

settings.py

json_file=open("model.json","r")
loaded_json=json_file.read()
json_file.close()

model=model_from_json(loaded_json)
model.load_weights("model.h5")
MODEL=model

然后在我的views.py中,我使用这个变量MODEL作为:

views.py

from django.conf import settings
model=settings.MODEL
def index():
    print "Predicting"
    res=model.predict(numpy.stack([test_img]))
    print res

如果一次只有一个用户处于活动状态(模型初始化一次,所有后续预测都使用该模型完成),则此方法很有效.但是,如果一次有多个用户处于活动状态,那么它对于首先出现的呼叫很有效,但后一个呼叫会产生错误

'NoneType' object has no attribute 'shape'
Apply node that caused the error: ConvOp{('imshp', (31, 31, 32)),('kshp', (3, 3)),('nkern', 64),('bsize', None),('dx', 1),('dy', 1),('out_mode', 'valid'),('unroll_batch', None),('unroll_kern', None),('unroll_patch', True),('imshp_logical', (31, 31, 32)),('kshp_logical', (3, 3)),('kshp_logical_top_aligned', True)}(InplaceDimShuffle{0,2,3,1}.0, InplaceDimShuffle{3,2,0,1}.0)
Toposort index: 13
Inputs types: [TensorType(float32, 4D), TensorType(float32, 4D)]
Inputs shapes: [(1L, 31L, 31L, 32L), 'No shapes']
Inputs strides: [(123008L, 124L, 4L, 3844L), 'No strides']
Inputs values: ['not shown', None]
Outputs clients: [[Elemwise{Composite{(i0 * ((i1 + i2) + Abs((i1 + i2))))}}[(0, 1)](TensorConstant{(1L, 1L, 1..1L) of 0.5}, ConvOp{('imshp', (31, 31, 32)),('kshp', (3, 3)),('nkern', 64),('bsize', None),('dx', 1),('dy', 1),('out_mode', 'valid'),('unroll_batch', None),('unroll_kern', None),('unroll_patch', True),('imshp_logical', (31, 31, 32)),('kshp_logical', (3, 3)),('kshp_logical_top_aligned', True)}.0, InplaceDimShuffle{x,0,x,x}.0)]]

我应该如何正确加载模型,以便可以同时访问它？

感谢您的时间.

Answer 1

请看这里https://github.com/keras-team/keras/issues/2397#issuecomment-254919212

例如。在 Django 设置中构建模型...

modelFile = 'path_to_my_model.h5'    
pipe = joblib.load(modelFile.replace('.h5','.pkl'))
model = models.load_model(modelFile)
pipe.steps.append(('nn', model))    
graph = tensorflow.get_default_graph()

然后在 Django REST 方法中像这样重用：

import myDjango.settings as sett
# ...

@csrf_exempt
def evaluate(request):
    """
    Do the evaluation.
    """
    if request.method == 'POST':
        data = JSONParser().parse(request)
        i = data['inputs']

        outputs = MyMlClass.PredictArray( sett.graph, sett.pipe , i, 'model.h5' )

        return JsonResponse(outputs, status=201, safe=False)

对我来说效果很好（VisualStudio Django 项目，Python 3.6）。不建议在 REST 处理程序中构建模型，而且实际上不会起作用 - 它只会在第一次调用时起作用。