相关疑难解决方法(0)

我想开发实时面部过滤器作为MSQRD/Snapchat实时过滤器,但是如果我使用增强现实框架并检测面部或使用核心图像来检测面部和相应处理,我无法知道如何继续.如果有人知道如何实现这一点,请告诉我？

我正在查看这个名为Morfo的酷应用程序.根据他们的产品描述 -

使用Morfo快速将朋友脸上的照片变成一个说话,跳舞,疯狂的3D角色!一旦被捕获,你可以让你的朋友用愚蠢的声音说出你想要的东西,摇滚,化妆,运动一双巨大的绿色猫眼,突然增加300磅,等等.

因此,如果您拍摄史蒂夫作业的普通2D图像并将其提供给此应用程序,则会将其转换为该图像的3D模型,并且用户可以与其进行交互.

我的问题如下 -

1. 他们是怎么做到的？
2. 这怎么可能在iPad？
3. 将2D图像渲染并转换为3D不是计算密集吗？

任何指针,指向objectiveC的网站或图书馆的链接都非常感谢.

更新:这个产品的演示在这里展示了morfo如何使用模板机制进行转换.即,在馈送2D图像之后,需要设置面部的边界,眼睛所在的位置,嘴唇的大小和长度.然后它将其转换为3D模型.这部分是如何完成的？他们可能使用哪些框架或库？

这里也有人问过类似的问题：Add 2D or 3D Face Filters like MSQRD/SnapChat Using Google Vision API for iOS。然而，目前还没有得到答复。

从本质上讲，我的工作任务是在使用手机的前置摄像头时将 3D 面部过滤器放在一个人的脸上。

鉴于 Mobile Vision API/GitHub Android Vision 项目提供了一种检测人脸并在其上粘贴一些可绘制图像的方法，但我的用户想要的是 3D 对象（猫脸或狗脸），例如 Facebook、Instagram、Snapchat等都做了。

我也在看 Unity/Vuforia，但我不知道如何将 Unity 项目集成到我们的 Android 应用程序中。我想要的是使用按钮来打开/选择此功能。

添加于 2018 年 6 月 8 日 根据我的阅读，我认为 Vuforia 不是为在 Android 上制作面部过滤器而设计的，并且在 Unity 上使用 Android API 并不难。但是，我不知道如何以另一种方式执行此操作，例如单击按钮调用 Unity 面部过滤器插件（如 XZIMG）功能以将面部蒙版/过滤器功能与相机一起使用。