开源镜头检测实现？

Question

我正在尝试实现一个视频检索系统，我需要首先从视频中提取关键帧，理想情况下我想要一个库来自动检测这些关键帧，每个镜头一个关键帧。如果我可以配置要提取的关键帧（镜头中连续帧的第一个、中间或最后一个），那就太好了。有这方面的开源实现吗？

Answer 1

您所追求的称为镜头分割。虽然这是一个非常活跃的研究领域，但我认为您不太可能找到任何完整的库可以立即为您解决问题。您最好的选择可能是阅读该主题，选择最适合您要求的方法并自行编码。

一种方法是计算相邻帧的颜色直方图之间的卡方距离。当该距离超过用户指定的阈值时，您就处于镜头边界。该方法在本文中进行了解释：

A. Nagasaka 和 Y. Tanaka，“自动视频索引和对象外观的全视频搜索”，《信息处理杂志》档案，第 15 卷，第 2 期（1992 年），第 316 页

我已经尝试过它，并取得了一些成功。值得注意的失败是单次拍摄中突然的光线变化（由相机闪光灯等引起）和混合镜头变化。

正如其他人指出的那样，一旦您知道了镜头边界，从每个镜头中选择关键帧将变得微不足道。