正射校正算法；拼接航空影像

Question

我正在研究收集农场航拍图像（从直升机上以垂直方式收集的图像）的方法，我想将它们拼接在一起以构建被覆盖区域的整张照片，然后我想运行分析。我假设图像将带有 [纬度，经度] 坐标，以帮助我确定放置图像的位置。

为了了解这项技术的问题，我尝试手动拼接从我的手机拍摄的后院一些样本区域的照片。我经历过边缘通常看起来不一样，因为它们是从不同的侧面或角度被相机看到的。我猜这是图像失真，可能通过正射校正（不完全确定）来修复。我快速创建了以下图片来帮助解释我的问题。

我对你的问题：

用于进行正射校正的算法/技术是什么？

什么工具最适合我的需求：opencv、处理或 matlab 或任何其他可以轻松帮助校正图像和创建马赛克照片的工具？

在进行航空影像拼接和分析时还应考虑哪些其他问题？

谢谢！

Answer 1

图片拼接通常假设相机中心在所有照片上都是固定的，并使用单应性来转换图像，使它们看起来是连续的。当固定摄像机中心假设不是严格有效时，由于场景的 3D 可能会出现伪影/失真。如果与场景的浮雕相比，相机中心移动了一小段距离，“无缝图像混合”技术可能足以模糊失真。

在更极端的情况下，需要进行正射校正。正射校正（维基百科条目）是将从给定透视相机观察到的图像转换为正交（维基百科条目）和通常垂直视角的任务。正交属性很有趣，因为它使多个图像的拼接变得更加容易。下图来自维基百科，特别清晰（左为正投影或定向投影，右为透视或中心投影）：

正射校正的任务通常需要场景的3D 模型，以便将透视相机观察到的强度适当地映射到它们相对于正射相机的位置。在航空/卫星图像的背景下，数字高程模型 (DEM) 通常用于该目的，但通常具有不包括人造结构（仅地球浮雕）的严重缺点。NASA 免费提供SRTM 任务获取的 DEM （DEM 链接）。

另一种方法，如果您在不同位置获取了两个图像，您可以尝试使用其中一种立体匹配技术进行 3D 重建，然后通过映射第三个正交和垂直相机。

为此，OpenCV 有几个有趣的功能（例如立体重建、图像映射功能等），可能更适合密集使用。Matlab 可能也有一些有趣的功能，可能更适合快速测试。