The*_*ted 4 opticalflow computer-vision augmented-reality keypoint
我花了几个月的时间研究和进行关键点检测,描述和匹配过程的实验.在最后一个时期,我也谈到了增强现实背后的概念,恰恰是"无标记"识别和姿态估计.
幸运的是,我发现以前的概念仍然在这个环境中被广泛使用.创建基本增强现实的常见管道如下,没有详细介绍每个所需的算法:
在拍摄视频时,每一帧......
- 获取一些关键点并创建其描述符
- 找到这些点与之前保存的"标记"内的点之间的匹配(如照片)
- 如果匹配足够,估计可见对象的姿势并使用它
也就是说,这个学生(？)项目使用了一个非常简化的程序.
现在的问题是:在我的个人研究中,我还发现了另一种称为"光流"的方法.我还处在研究的开始阶段,但首先我想知道它与之前的方法有多大不同.特别:
谢谢你的合作.
光流(OF)是围绕所谓的"亮度恒定性假设"的方法.你假设像素 - 更具体,他们的强度(达到一些三角洲) - 不会改变,只会移动.你找到了这个等式的解:I(x,y,t)= I(x + dx,y + dy,t + dt).
裁缝系列的第一顺序是:I(x + dx,y + dy,t + dt)= I(x,y,t)+ I_x*dx + I_y*dy + I_t*dt.
然后你解决这个等式,得到每个像素的dx和dy - 移位.
upd:如果不应用于整个图像,但补丁,光流几乎相同,就像Lucas-Kanade-Tomashi跟踪器一样.
此方法与基于特征的方法之间的差异是密度.对于特征点,您通常只能获得特征点的位置差异,而光流估计整个图像的位置.
缺点是香草OF仅适用于小位移.为了处理较大的图像,可以缩小图像并计算其上的OF - "粗到精"方法.
可以将"亮度恒常性假设"改变为"描述符恒常性假设"并求解相同的方程但使用描述符值而不是原始强度.SIFT流程就是一个例子.
不幸的是,我对增强现实商业解决方案知之甚少,无法回答最后一个问题.
光流计算很慢,而最近检测速度的发展已经很多.增强现实商业解决方案需要实时性能.因此,很难应用基于光流技术(直到你使用一个好的GPU).AR系统主要使用基于特征的技术.大多数时候,他们的目标是了解场景的3D几何,可以通过一组点进行稳健估计.旧的不明飞行物提到了其他差异.