使用 python 将 3D 网格渲染为图像

Question

我是一个神经网络，它使用张量流从单个图像重建人脸。

我想弄清楚如何将网络的输出（这是一个 3D 网格）渲染成 python 中的图像。

我发现的大多数库都实时进行 3D 渲染，我只希望渲染和单帧。

我还需要一些快速的东西，因为这可能会成为实时网络预处理的一部分（将网络应用于实时视频。

网格非常简单，它是一个简单的面，大约有 30k 个顶点和 50k 个三角形。

Answer 1

我刚刚遇到了类似的问题，并使用pyrender及其屏幕外渲染器解决了这个问题。

看看这里的最小工作示例PyrenderOSMesaSample.ipynb。构建自己的网格并获得场景的渲染 RGB 非常简单。

UPD：这是我的 MWE

import os
# switch to "osmesa" or "egl" before loading pyrender
os.environ["PYOPENGL_PLATFORM"] = "osmesa"

import numpy as np
import pyrender
import trimesh
import matplotlib.pyplot as plt

# generate mesh
sphere = trimesh.creation.icosphere(subdivisions=4, radius=0.8)
sphere.vertices+=1e-2*np.random.randn(*sphere.vertices.shape)
mesh = pyrender.Mesh.from_trimesh(sphere, smooth=False)

# compose scene
scene = pyrender.Scene(ambient_light=[.1, .1, .3], bg_color=[0, 0, 0])
camera = pyrender.PerspectiveCamera( yfov=np.pi / 3.0)
light = pyrender.DirectionalLight(color=[1,1,1], intensity=2e3)

scene.add(mesh, pose=  np.eye(4))
scene.add(light, pose=  np.eye(4))

c = 2**-0.5
scene.add(camera, pose=[[ 1,  0,  0,  0],
                        [ 0,  c, -c, -2],
                        [ 0,  c,  c,  2],
                        [ 0,  0,  0,  1]])

# render scene
r = pyrender.OffscreenRenderer(512, 512)
color, _ = r.render(scene)

plt.figure(figsize=(8,8)), plt.imshow(color);

Answer 2

根据您的预期结果，您可以使用多种开源和商业选项。我从你的问题推断，你已经在利用 GPU，并且打算利用它们的性能加速来产生单帧结果。有了这些假设，以下是我的两个最重要的建议：

1) 如果您正在构建概念验证，我会利用 Blender（特别是 Lux 渲染器）。

1. 首先使用 LuxBlend 2.5 导出场景
2. 将 TensorFlow 生成的网格几何体注入到场景文件中
3. 调用Lux来渲染每一帧的这些动态文件

2) 如果您打算开发商业产品，我建议使用 nVidia 的 iRay 渲染器。您可以获得 SDK 访问权限并利用支持团队的知识来帮助您优化渲染的细节。

我很乐意根据任何反馈（或您的 GitHub 项目）修改此答案

如果我的假设偏离了，这个答案可能会有所帮助：3D Scene Renderer for Python ;-)