三维人脸重建算法

Question

项目:3D人脸重建

输入:2D正面图像输出:3D面重建和表达模拟平台:Matlab或Opencv cpp.

经过研究,我发现3D Morphable Models(3DMM)算法是我项目的一个很好的起点.但我没有巴塞尔人脸模型(3D人脸数据库)来实现算法.但是,我从http://gavab.escet.urjc.es/recursos_en.html下载了GavabDB .我可以使用GavabDB从正面图像进行3D面部重建来开发3DMM吗？在阅读了数据集描述文档之后,我观察到Gavab没有提供3D扫描的纹理数据; 纹理数据是强制性的吗？

输出质量是否取决于用于建模的3D数据库？

Answer 1

在原来的形变模型,以及巴塞尔面模型,这是来自同一首席研究员,确实包含纹理以及几何形状.

完全可以从没有纹理的3D几何数据计算可变形模型的几何部分.这为您提供了一个模型,可以捕获形状中统计上最重要的变化.

然而,将纯几何模型与2D面部图像匹配比将模型与纹理匹配更困难.它基本上要求你......

1. 识别(或注释)2D人脸图像中某些地标点的位置
2. 优化3D姿势和形状参数,在使用未知相机投影后,将3D Morphable模型中的各个地标与您带注释的地标接近.

这是一个有趣的问题,但不是一个微不足道的问题.对于第2步,我建议首先假设正投影.

关于输出质量问题:如果数据库中有足够多的3D模型,则单个扫描不必具有特别高的质量.噪声不会显示在您实际使用的模型的主要组件中.然而,扫描中的孔是个问题.

最后但同样重要的是,让我无耻地指出你几年前写的一篇论文.它不能解决您的问题,但它包含一个关于将3D可变形模型(仅几何)拟合到从照片中提取的2D面部轮廓的部分.