Convertir punto 2D a ubicación 3D

Tengo una cámara fija con conocidos cameraMatrixy distCoeffs. También tengo un tablero de ajedrez que también está arreglado, transformy los rotationvectores también se calculan usando solvePnP. Me pregunto cómo es posible obtener la ubicación 3D de un punto 2D en el mismo plano en el que se...