视频稳定的最佳算法

Question

我正在创建一个程序来稳定视频流.目前,我的程序基于相位相关算法工作.我正在计算两个图像之间的偏移 - 基础和当前.接下来,我根据新坐标校正当前图像.这个程序有效,但效果不理想.相关链接您可能会发现处理后的视频显得不受欢迎,并且整个视频的抖动变得更糟.
Orininal video
Unshaked video
我目前的认识是:
计算图像之间的偏移量:

Point2d calculate_offset_phase_optimized(Mat one, Mat& two) {

  if(two.type() != CV_64F) {
    cvtColor(two, two, CV_BGR2GRAY);
    two.convertTo(two, CV_64F);
  }

  cvtColor(one, one, CV_BGR2GRAY);
  one.convertTo(one, CV_64F);

  return phaseCorrelate(one, two);

}

根据此坐标移动图像:

void move_image_roi_alt(Mat& img, Mat& trans, const Point2d& offset) {

  trans = Mat::zeros(img.size(), img.type());
  img(
    Rect(
        _0(static_cast<int>(offset.x)),
        _0(static_cast<int>(offset.y)),
        img.cols-abs(static_cast<int>(offset.x)),
        img.rows-abs(static_cast<int>(offset.y))
    )
  ).copyTo(trans(
    Rect(
        _0ia(static_cast<int>(offset.x)),
        _0ia(static_cast<int>(offset.y)),
        img.cols-abs(static_cast<int>(offset.x)), 
        img.rows-abs(static_cast<int>(offset.y))
    )   
  )); 
}

int _0(const int x) {
  return x < 0 ? 0 : x;
}

int _0ia(const int x) {
  return x < 0 ? abs(x) : 0;
}

我正在查看文档作者稳定器YouTube和基于角点检测的算法似乎很有吸引力,但我并不完全清楚它是如何工作的.所以我的问题是如何有效地解决这个问题.其中一个条件 - 程序将在较慢的计算机上运行,​​因此繁重的算法可能不适合.
谢谢!
PS我为文中的任何错误道歉 - 这是一个自动翻译.

Answer 1

您可以在每个帧中使用图像描述符（例如SIFT）并计算帧之间的稳健 匹配。然后您可以计算帧之间的单应性并使用它来对齐它们。使用稀疏特征可以比使用密集相关性更快地实现。

或者，如果您知道相机参数，则可以计算点和相机的3D 位置，并将图像重新投影到稳定的投影平面上。结果，您还获得了场景的稀疏 3D 重建（有些不精确，通常需要优化才能使用）。这就是Autostitch等会做的事情，但是实现起来相当困难。

请注意，相机参数也可以计算，但这更加困难。