近似重复的视频检测

Question

我正在寻找能够解决近乎重复的视频检测问题的开源项目.最好的,我现在发现它是SOTU,但其来源已关闭.那么,有没有开源解决方案？

另外,我将非常感谢这个问题的理论部分的一些链接.

Answer 1

这是一个近乎重复的项目: 由哥伦比亚大学DVMM实验室提供的INDetector(源代码可用,我认为不是完全开源的).还有一些关于将其应用于视频的信息(主要是关键帧).

还有pHash,一个用于图像的开源"感知哈希"库.

还有IMMI,一个用于RapidMiner的开源图像挖掘插件.

通过将所有帧或所选帧(例如关键帧)视为算法的输入,然后聚合来自两个不同剪辑的帧对的相似性的结果,可以将这些中的任何一个应用于视频和图像.

您也可以尝试与UQLIPS的作者联系(Shen等人,下面引用).

此外,查看TRECVID条目列表,有些年份将近似重复检测作为任务之一,您可以与其中一些组取得联系并获取软件.

如果您想自己实现这一点,那么实现任何已发布算法的原型应该相当容易.我建议(a)对你感兴趣的数据尝试一些简单的算法,并且(b)使用某种类型的投票/轮询过程来组合他们的输出,基于观察到简单算法的简单组合通常优于a这些问题中的单一复杂算法.

此外,请查看地球移动距离(颜色直方图,渐变,...)以进行简单的特征提取(仅适用于所有帧或仅选定的帧).这可以通过python/numpy/scipy/pyopencv中的几行代码方便地完成.

以下三篇可能是该领域引用最多的论文,均由不同的研究小组提出:

1. Yang,J.,YG Jiang,AG Hauptmann和CW Ngo."评价袋的视觉词交涉在场景分类."上多媒体信息检索,197-206,2007.在国际研讨会论文集车间http://dl.acm.org/citation.cfm?id= 1290111.

2. Shen,HT,X.Zhou,Z.Huang,J.Shao和X. Zhou."UQLIPS:一个实时近重复的视频剪辑检测系统."在第33届国际会议论文集上非常大的数据基地,1374年至1377年,2007年http://dl.acm.org/citation.cfm?id = 1326018.

3. Wu,X.,AG Hauptmann和CW Ngo."从网络视频搜索近重复的实用消除."在多媒体,218-227,2007年第15届国际会议论文集http://dl.acm.org/citation.cfm?id=1291280.

Yang等与SOTU中使用的方法相同.