颜色 space 到相机 space 变换矩阵

Question

我正在寻找转换矩阵来转换 color space to camera space。

我知道可以使用 CoordinateMapper 进行点转换，但我没有使用 Kinect v2 官方 API。

如果有人可以分享转换矩阵，我真的很感激，它可以将颜色 space 转换为相机 space。

一如既往，非常感谢。

Answer 1

重要：原始kinect RGB图像有失真。先去掉。

简答

您搜索的"transformation matrix"叫做投影矩阵。

$\begin{bmatrix} X \ Y \ Z \ 1 \end{bmatrix}=\begin{bmatrix} \begin{bmatrix} f_{x} & 0 & c_{x}\ 0 & f_{y} & c_{y}\ 0 & 0 & 1 \end{bmatrix}& \begin{bmatrix} 1 & 0 & 0 & 0\ 0 & 1 & 0 & 0\ 0 & 0 & 1 & 0 \end{bmatrix} \end{bmatrix}^{-1}\begin{bmatrix} u \ v \ 1 \end{bmatrix}$

rgb.cx:959.5
rgb.cy:539.5
rgb.fx:1081.37
rgb.fy:1081.37

长答案

先了解一下Kinect是如何生成彩色图像的

$s\begin{bmatrix} u \ v \ 1 \end{bmatrix} = \begin{bmatrix} f_{x} & 0 & c_{x}\ 0 & f_{y} & c_{y}\ 0 & 0 & 1 \end{bmatrix}& \begin{bmatrix} r_{11} & r_{12} & r_{13} & t_{1}\ r_{21} & r_{22} & r_{23} & t_{2}\ r_{31} & r_{32} & r_{33} & t_{3} \end{bmatrix} & \begin{bmatrix} X \ Y \ Z \ 1 \end{bmatrix}$