屏幕坐标到世界坐标

Question

我想从屏幕坐标转换为世界坐标OpenGL.我正在glm为此目的使用(我也在使用glfw)

这是我的代码:

static void mouse_callback(GLFWwindow* window, int button, int action, int mods)
{
    if (button == GLFW_MOUSE_BUTTON_LEFT) {
        if(GLFW_PRESS == action){
            int height = 768, width =1024; 
            double xpos,ypos,zpos;
            glfwGetCursorPos(window, &xpos, &ypos);

            glReadPixels(xpos, ypos, 1, 1, GL_DEPTH_COMPONENT, GL_FLOAT, &zpos);

            glm::mat4 m_projection = glm::perspective(glm::radians(45.0f), (float)(1024/768), 0.1f, 1000.0f);

            glm::vec3 win(xpos,height - ypos, zpos);
            glm::vec4 viewport(0.0f,0.0f,(float)width, (float)height);
            glm::vec3 world = glm::unProject(win, mesh.getView() * mesh.getTransform(),m_projection,viewport);

            std::cout << "screen " << xpos << " " << ypos << " " << zpos << std::endl;
            std::cout << "world " << world.x << " " << world.y << " " << world.z << std::endl;
        }
    }
}

现在,我有2个问题,第一个是我得到的世界矢量glm::unProject有一个非常小的x,y和z.如果我使用此值来转换网格,则网格会遭受小的转换,并且不会跟随鼠标指针.

第二个问题是,如glm docs(https://glm.g-truc.net/0.9.8/api/a00169.html#ga82a558de3ce42cbeed0f6ec292a4e1b3)所述,结果以对象坐标返回.因此,为了将屏幕转换为世界坐标,我应该使用来自一个网格的变换矩阵,但是如果有多个网格并且我想从屏幕转换为世界坐标会发生什么？我应该通过相机视图矩阵多维模型矩阵来形成ModelView矩阵？

Answer 1

这个序列有几个问题:

       glfwGetCursorPos(window, &xpos, &ypos);
       glReadPixels(xpos, ypos, 1, 1, GL_DEPTH_COMPONENT, GL_FLOAT, &zpos);
       [...]
       glm::vec3 win(xpos,height - ypos, zpos);

1. 窗口空间的起源.glReadPixels是一个GL函数,因此遵循GL的约定,原点是左下角的像素.当您为win变量转换到该约定时,仍然使用错误的原点来读取深度缓冲区.

   此外,你的翻转是错误的.既然ypos应该在[0,height-1],正确的公式是height-1 - ypos,所以你也在这里一个人.(我们稍后会看到,这也不完全正确.)

2. "屏幕坐标"与像素坐标.您的代码假定您从GLFW返回的坐标以像素为单位.不是这种情况.GLFW使用"虚拟屏幕坐标"的概念,它不一定映射到像素:

   像素和屏幕坐标可以在您的机器上以1:1的比例映射,但它们不会在其他所有机器上,例如在具有Retina显示屏的Mac上.屏幕坐标和像素之间的比率也可以在运行时改变,这取决于当前认为窗口在哪个监视器上.

   GLFW通常为窗口提供两种尺寸,glfwGetWindowSize将在所述虚拟屏幕坐标中返回结果,同时glfwGetFramebufferSize将返回与OpenGL相关的实际尺寸(以像素为单位).所以基本上,您必须查询两种尺寸,并且可以适当地将鼠标坐标从屏幕坐标缩放到您需要的实际像素.

3. 子像素位置.在glReadPixels解决具有整数坐标的特定像素时,整个变换数学与浮点一起工作并且可以表示任意子像素位置.GL的窗口空间被定义为整数坐标代表像素的角,像素中心位于半整数坐标.您的win变量将代表所述像素的左下角,但更多有用的约定是使用像素中心,所以你最好添加的偏移(0.5f, 0.5f, 0.0f)来win,假设你指向像素的中心.(如果虚拟屏幕的分辨率高于我们的像素,我们可以做得更好一些,这意味着我们已经获得了鼠标光标的子像素位置,但数学不会改变,因为我们仍然要切换到GL的修道院,其中整数表示边界而不是整数表示中心).

把它们放在一起,你可以做(​​概念上):

glfwGetWindowSize(win, &screen_w, &screen_h); // better use the callback and cache the values 
glfwGetFramebufferSize(win, &pixel_w, &pixel_h); // better use the callback and cache the values 
glfwGetCursorPos(window, &xpos, &ypos);
glm::vec2 screen_pos=glm::vec2(xpos, ypos);
glm::vec2 pixel_pos=screen_pos * glm::vec2(pixel_w, pixel_h) / glm::vec2(screen_w, screen_h); // note: not necessarily integer
pixel_pos = pixel_pos + glm::vec2(0.5f, 0.5f); // shift to GL's center convention
glm::vec3 win=glm::vec3(pixel_pos., pixel_h-pixel_pos.y, 0.0f);
glReadPixels( (GLint)win.x, (GLint)win.y, ..., &win.z)
// ... unproject win

我应该通过相机视图矩阵多维模型矩阵来形成ModelView矩阵？

没有.基本坐标转换管道是

object space -> {MODEL} -> World Space -> {VIEW} -> Eye Space -> {PROJ} -> Clip Space -> {perspective divide} -> NDC -> {Viewport/DepthRange} -> Window Space

没有模型矩阵影响从世界到窗口空间的方式,因此反转它也不依赖于任何模型矩阵.

如glm docs(https://glm.g-truc.net/0.9.8/api/a00169.html#ga82a558de3ce42cbeed0f6ec292a4e1b3)所述,结果以对象坐标返回.

数学并不关心您在哪些空间之间进行转换.文档提到了对象空间,函数使用了一个名为的参数[0,w),但是你放在那里的矩阵是完全不相关的.放在x那里会好的.

因此,为了将屏幕转换为世界坐标,我应该使用来自一个网格的变换矩阵.

好吧,你甚至可以这样做.您可以使用任何对象的任何模型矩阵,只要矩阵不是单数,并且只要您为以后用于从对象空间到世界空间的非项目使用相同的矩阵.如果你确定它是常规的,你甚至可以组成一个随机矩阵.(好吧,如果矩阵病态,可能存在数值问题).这里的关键是当你指定(V*M)和P作为矩阵时[0,h),它将在内部计算出y哪个是矩阵(0,0).如果将结果从对象空间转换回世界空间,则(0.5, 0.5)再次将其乘以,得到y,当然h-y,如果您没有h-0.5首先放入非项目,那么这就是您直接获得的结果.您刚刚添加了更多的计算工作,并为数值问题引入了更多潜力......