将 cv::Mat 复制到 CMSampleBufferRef

Question

如何将 cv::Mat 数据复制回 sampleBuffer？

我的场景如下：我从 pixelBuffer 创建了一个 cv::Mat 用于地标检测，并将地标添加到 cv::Mat 图像数据。我想将此 cv::Mat 复制到样本缓冲区中以与地标一起显示。

这可能吗？

我用 dlib 实现了这个，但需要知道如何用 cv::mat:

char *baseBuffer = (char *)CVPixelBufferGetBaseAddress(imageBuffer);
img.reset();
long position = 0;
while (img.move_next()) {
        dlib::bgr_pixel& pixel = img.element();
        long bufferLocation = position * 4; //(row * width + column) * 4;
        char b = baseBuffer[bufferLocation];
        char g = baseBuffer[bufferLocation + 1];
        char r = baseBuffer[bufferLocation + 2];
        dlib::bgr_pixel newpixel(b, g, r);
        pixel = newpixel;

        position++;
    }

Answer 1

我正在回答我自己的问题。

首先，你需要访问cv::mat图像的像素数据，我跟着这个很棒solution

然后您需要将像素复制到从基缓冲区开始的缓冲区中。以下代码应该可以帮助您实现这一目标：

CVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);
char *baseBuffer = (char *)CVPixelBufferGetBaseAddress(imageBuffer);   
long position = 0;
uint8_t* pixelPtr = (uint8_t*)targetImage.data;
int cn = targetImage.channels();
cv::Scalar_<uint8_t> rgbPixel;
for(int i = 0; i < targetImage.rows; i++)
{
    for(int j = 0; j < targetImage.cols; j++)
    {
        long bufferLocation = position * 4;

        rgbPixel.val[0] = pixelPtr[i*targetImage.cols*cn + j*cn + 0]; // B
        rgbPixel.val[1] = pixelPtr[i*targetImage.cols*cn + j*cn + 1]; // G
        rgbPixel.val[2] = pixelPtr[i*targetImage.cols*cn + j*cn + 2]; // R
        baseBuffer[bufferLocation] = rgbPixel.val[2];
        baseBuffer[bufferLocation + 1] = rgbPixel.val[1];
        baseBuffer[bufferLocation + 2] = rgbPixel.val[0];
        position++;
    }
}

一些注意事项

确保你 CVPixelBufferLockBaseAddress 并且 CVPixelBufferUnlockBaseAddress 手术前后。我
我在 CV_8UC3 做这件事，你可能想检查一下你的 cv::mat
类型。
我还没有进行性能分析，但我得到了流畅的输出。

将 cv::Mat 复制到 CMSampleBufferRef

Copy cv::Mat into CMSampleBufferRef

opencv

avfoundation

ios