iOS - 2D图像变成了3d

Question

我正在查看这个名为Morfo的酷应用程序.根据他们的产品描述 -

使用Morfo快速将朋友脸上的照片变成一个说话,跳舞,疯狂的3D角色!一旦被捕获,你可以让你的朋友用愚蠢的声音说出你想要的东西,摇滚,化妆,运动一双巨大的绿色猫眼,突然增加300磅,等等.

因此,如果您拍摄史蒂夫作业的普通2D图像并将其提供给此应用程序,则会将其转换为该图像的3D模型,并且用户可以与其进行交互.

我的问题如下 -

1. 他们是怎么做到的？
2. 这怎么可能在iPad？
3. 将2D图像渲染并转换为3D不是计算密集吗？

任何指针,指向objectiveC的网站或图书馆的链接都非常感谢.

更新:这个产品的演示在这里展示了morfo如何使用模板机制进行转换.即,在馈送2D图像之后,需要设置面部的边界,眼睛所在的位置,嘴唇的大小和长度.然后它将其转换为3D模型.这部分是如何完成的？他们可能使用哪些框架或库？

Answer 1

这是一个广泛的问题,但我可以指出你正确的3D渲染工作方向,相信我这是一个巨大的主题,背后有数十年的工作,并且要放在这里.不知道如何快速了解3D渲染技术,所以我将为您提供纹理的基本概念,并指出一组很好的教程.

1. 他们是怎么做到的？
   我们的想法是,在3D渲染中,3D模型可以使用称为纹理贴图的2D图像进行纹理化.你使用一个2D图像并将其包裹在一个三维模型周围,就像一个简单的原始像一个立方体的球体或更先进的,如经典的茶壶或人头的模型等.纹理可以从任何地方采取,我有过去使用相机输入来使用相机流中的视频对网格进行纹理处理,我使用了相机中的照片,这些照片是如何进行的.这就是面部渲染到3D模型的方式.

2. 这有效吗？
   在iOS和大多数移动设备上,3D渲染使用OpenGLES进行硬件加速.关于您的问题,这取决于您如何实现渲染代码.

它使用anticyclope提到的映射(视频中的缩放旋转模板)的方式允许您使纹理适合模型,并且还将眼睛置于渲染代码的一部分.

因此,如果您想要选择这个,我建议您从头开始阅读Jeff Lamarche Tutorial作为入门读物:

http://iphonedevelopment.blogspot.com/2009/05/opengl-es-from-ground-up-table-of.html

其次,我已经阅读了4本关于OpenGLES的书籍,用于一般设计和平台细节.我推荐这本书:

http://www.amazon.co.uk/iPhone-Programming-Developing-Graphical-Applications/dp/0596804822/ref=sr_1_1?ie=UTF8&qid=1331114559&sr=8-1

Answer 2

在我看来,他们是如何做到的.只是我的想法,没有看到现实生活中的应用.

他们有一个人体头部的3D模型.当您点击2D图像上的某些点时,它们会调整3D模型中的对应点,因此它表示特定面部的特征,如眼睛之间的距离,嘴唇宽度等.接下来,使用该控制点将来自2D图像的纹理应用于3D模型,因此我们具有人类头部的纹理3D模型.事实上,我们的感知能够从2D图像重建3D形状(比如,我们看2D照片并且仍然想象一个3D人物),没有必要准确地重建3D形状,纹理将完成工作.