视频序列中车牌的超分辨率

Question

这是我的问题的后续问题:在视频序列中本地增强车牌

我实现了答案建议的基本超分辨率技术,但我无法获得更好的分辨率结果.我将视频序列修剪为40帧,如下所示:

并使用下面的代码,它采用前5帧并执行超分辨率,然后通过处理序列中的其余帧重复更新超分辨率帧:

public void Process(Image<Gray, byte> frame)
    {
        SetRegionOfInterest(frame);

        var resizedFrame = ResizeFrame(frame);

        InputFrames.Add(resizedFrame);
        if(InputFrames.Count > 5)
        {
            InputFrames.RemoveAt(0);
            PerformSuperResolution();
        }
    }

    public void PerformSuperResolution()
    {
        // WindowSize = 5
        var referenceFrame = InputFrames[WindowSize-1].Convert<Gray, byte>();
        var featuresToTrack = referenceFrame.GoodFeaturesToTrack(100, 0.1, 5, 10);

        referenceFrame.FindCornerSubPix(featuresToTrack, new Size(WindowSize,WindowSize), new Size(-1,-1), new MCvTermCriteria(20, 0.03d));

        var resultFrame = InputFrames[WindowSize-1].Convert<Gray, double>();
        for(var frameCounter = 0; frameCounter < WindowSize-1; frameCounter++)
        {
            // Get shift between frames
            var shiftResult = GetShiftResult(InputFrames[frameCounter],referenceFrame, featuresToTrack);

            // Warp to correct shift
            var warpMatrix = new Matrix<double>(new[,] { {1, 0, -shiftResult.ShiftX}, {0, 1, -shiftResult.ShiftY}, {0, 0, 1}});

            var warpedFrame = InputFrames[frameCounter].WarpPerspective(warpMatrix, 
                INTER.CV_INTER_NN, 
                WARP.CV_WARP_DEFAULT, 
                new Gray(0)); 

            resultFrame.RunningAvg(warpedFrame.Convert<Gray,double>(), 1, resultFrame.Convert<Gray, byte>());
        }
        SuperResolutionFrame = resultFrame.Convert<Gray, byte>();
    }

    public ShiftResult GetShiftResult(Image<Gray, byte> inputFrame, Image<Gray, byte> referenceFrame, PointF[][] ActualFeature)
    {
        var result = new ShiftResult();

        PointF[] NextFeature;
        Byte[] Status;
        float[] TrackError;

        // optical flow
        OpticalFlow.PyrLK(referenceFrame, inputFrame, ActualFeature[0], 
            new Size(WindowSize, WindowSize), 5, new MCvTermCriteria(20, 0.1d), 
            out NextFeature, out Status, out TrackError);

        //get displacements
        float[] XdisplacementVectors = new float[NextFeature.Length];
        float[] YdisplacementVectors = new float[NextFeature.Length];
        for(int i = 0; i < NextFeature.Length; i++)
        {
            XdisplacementVectors[i] = NextFeature[i].X - ActualFeature[0][i].X;
            YdisplacementVectors[i] = NextFeature[i].Y - ActualFeature[0][i].Y;
        }

        // gets average of displacements (disregards outliers)
        result.ShiftX = getAVG(XdisplacementVectors);
        result.ShiftY = getAVG(YdisplacementVectors);

        return result;
    }

程序调用Process(frame)一组输入视频帧(总共40个),如下所示:

for(int i  = 0; i < image_array.Count; i++)
{
    Res.Process(image_array[i]);
}

我得到了这个结果图像:

正如您所看到的,整体分辨率只有很小的改进,并且对牌照的可读性没有太大改进.我尝试过尝试各种参数,但上面使用的参数似乎是我能做的最好的.

我愿意接受任何改进建议(不必限于上面使用C#/ Emgu CV),甚至可以在移动应用领域内实现不同的实现方法.

Answer 1

超分辨率问题是不适定的 CV 问题，并且还没有令人满意的解决方案，因为它在输出中包含比输入更多的“信息”。

然而，在一些非常具体的情况下，我们对我们正在处理的图像有很强的先验假设，某些方法可以获得比一般问题更好的结果。

截至目前，我们有一些可用的代码：

许可超分辨率