从视频中重建 3D 轨迹（由单个摄像头拍摄）

Question

我目前正在尝试从 iPhone 视频中拍摄的一系列图像中重建落下物体（如球或岩石）的 3D 轨迹。

我应该从哪里开始寻找？我知道我必须校准相机（我想我会使用 Jean-Yves Bouguet 的 matlab 校准工具箱），然后从相同的序列中找到消失点，但后来我真的被卡住了。

Answer 1

阅读：http : //www.cs.auckland.ac.nz/courses/compsci773s1c/lectures/773-GG/lectA-773.htm 它解释了使用两个摄像头的 3d 重建。现在做一个简单的总结，看看那个网站的图：

你只知道pr/pl，图像点。通过从它们各自的焦点 Or/Ol 追踪一条线，您会得到两条均包含点 P 的线 (Pr/Pl)。因为您知道 2 个相机的原点和方向，您可以为这些线构建 3d 方程。因此，它们的交点就是 3d 点，瞧，就是这么简单。

但是，当您丢弃一台相机（假设是左侧的）时，您只能确定这条线 Pr。缺少的是深度。幸运的是，您知道球的半径，这些额外信息可以为您提供缺失的深度信息。看下图（别介意我的绘画技巧）：

现在你知道使用截距定理的深度

我看到最后一个问题：当以一定角度（即不垂直于捕获平面）投影时，球的形状会发生变化。但是您确实知道角度，因此可以进行补偿，但我将其留给您：p

编辑：@ripkars 的评论（评论框太小）

1）好的

2）啊哈，对应问题：D 通常通过相关分析或匹配特征来解决（主要是匹配，然后在视频中进行跟踪）。（也存在其他方法）我自己没有使用过图像/视觉工具箱，但在此过程中肯定会有一些东西可以帮助您。

3) = 校准您的相机。通常你应该只做一次，在安装相机时（每隔一次你改变它们的相对姿势）

4) 是的，只要让 Longuet-Higgins 方程起作用，即：求解

P = C1 + mu1*R1*K1^(-1)*p1
P = C2 + mu2*R2*K2^(-1)*p2

用 P = 3D 点找到 C = 相机中心（向量） R = 旋转矩阵，表示世界框架中第一个相机的方向。K = 相机的校准矩阵（包含相机的内部参数，不要与 R 和 C 包含的外部参数混淆） p1 和 p2 = 图像点 mu = 表示 P 在相机投影线上的位置的参数中心 C 到 P（如果我是正确的 R*K^-1*p 表示从 C 指向 P 的线方程/向量）

这些是包含 5 个未知数的 6 个方程：mu1、mu2 和 P

编辑：@ripkars 的评论（评论框再次太小）我脑海中唯一出现的计算机视觉库是 OpenCV（http://opencv.willowgarage.com/wiki）。但那是一个 C 库，而不是 matlab ......我猜谷歌是你的朋友；)

关于校准：是的，如果这两个图像包含足够的信息来匹配某些特征。如果您更改相机的相对姿势，您当然必须重新校准。

世界框架的选择是任意的；只有当您想在之后分析检索到的 3d 数据时，它才变得重要：例如，您可以将世界平面之一与运动平面对齐 -> 如果您想拟合一个，则简化运动方程。这个世界坐标系只是一个参考坐标系，可以通过“参考坐标系变换的变化”（平移和/或旋转变换）来改变