如何更改二维图像的视口？

Question

我正在开发一款用于货币识别的移动应用程序。现在我正在尝试为这个应用程序构建数据库。

下一步是从不同视图中的原始图像生成一些图像。这是示例：

原文：

视图 1：

如您在上图中所见，视图 1 图像是从左边缘观察原始图像的视图。我想要做的是从左、右、下、上的 4 个视图从原始图像生成 4 张图像。由于图像数量非常多，我无法使用相机进行捕捉，所以我需要编写一个程序来完成这项工作。但是我找不到关于这个问题的任何信息。

请告诉我有什么工具可以满足我的需要吗？或任何图书馆，框架支持这个？我可以在 MATLAB 和 openCV 上编写代码。

感谢您的帮助。

Answer 1

您可以执行以下操作：

您假设原始图像以 90 度角观察平面对象
你假设一些相机内在参数（例如图像中间的焦点和均匀的像素大小），一些相机外部参数（例如从平面上方的某个位置看 "down" ) 和一些平面坐标（xy 平面）。这将导致每个像素都位于平面的某些坐标上。
您通过围绕相机中心旋转来更改相机外部参数
您将一些（4 个或更多）平面位置投影到相机图像（例如使用 cv::projectPoints()）。
你计算描述两个相机视图之间的像素 "motion" 的透视单应性（输入像素位置是那些投影平面位置和原始图像中的相同平面位置）
记住每个所选视图的单应性。
对于每个图像，只需使用这些单应性，您不必重新计算它们，因为它们对每个图像都是相同的。

编辑：这就是它在实际中的样子（抱歉代码丑陋）：

cv::Mat getRotationMatrixAroundY(double angle)
{
    cv::Mat rVec;

    cv::Mat deg45 = cv::Mat::zeros(3,3,CV_64FC1);
    double cos45 = cos(CV_PI*angle/180.0);
    double sin45 = sin(CV_PI*angle/180.0);

    // different axis:
    /*      deg45.at<double>(1,1) = cos45;      deg45.at<double>(1,2) = sin45;      deg45.at<double>(0,0) = 1;      deg45.at<double>(2,1) = -sin45;     deg45.at<double>(2,2) = cos45;      */

    /*      deg45.at<double>(0,0) = cos45;      deg45.at<double>(0,1) = in45;       deg45.at<double>(2,2) = 1;      deg45.at<double>(1,0) = -sin45;     deg45.at<double>(1,1) = cos45;      */


    deg45.at<double>(0,0) = cos45;
    deg45.at<double>(0,2) = sin45;
    deg45.at<double>(1,1) = 1;
    deg45.at<double>(2,0) = -sin45;
    deg45.at<double>(2,2) = cos45;

    cv::Rodrigues(deg45, rVec);

    return rVec;
}

// banknode training sample generator
int main()
{
    cv::Mat input = cv::imread("../inputData/bankNode.jpg");

    std::vector<cv::Point3f> pointsOnPlane;

    pointsOnPlane.push_back(cv::Point3f(0-input.cols/2,0-input.rows/2,0));
    pointsOnPlane.push_back(cv::Point3f(input.cols-input.cols/2,0-input.rows/2,0));
    pointsOnPlane.push_back(cv::Point3f(input.cols-input.cols/2,input.rows-input.rows/2,0));
    pointsOnPlane.push_back(cv::Point3f(0-input.cols/2,input.rows-input.rows/2,0));





    std::vector<cv::Point2f> originalPointsInImage;
    originalPointsInImage.push_back(cv::Point2f(0,0));
    originalPointsInImage.push_back(cv::Point2f(input.cols,0));
    originalPointsInImage.push_back(cv::Point2f(input.cols,input.rows));
    originalPointsInImage.push_back(cv::Point2f(0,input.rows));

    std::cout << "original pixel positions:" << std::endl;
    for(unsigned int i=0; i<originalPointsInImage.size(); ++i)
        std::cout << originalPointsInImage[i] << std::endl;

    cv::Mat cameraIntrinsics = cv::Mat::eye(3,3,CV_64FC1);

    cameraIntrinsics.at<double>(0,0) = 500.0;
    cameraIntrinsics.at<double>(1,1) = 500.0;
    cameraIntrinsics.at<double>(0,2) = input.cols/2.0;
    cameraIntrinsics.at<double>(1,2) = input.rows/2.0;

    std::vector<double> distCoefficients;

    cv::Mat rVec;
    cv::Mat tVec;
    cv::solvePnP(pointsOnPlane, originalPointsInImage, cameraIntrinsics, distCoefficients, rVec, tVec);


    // let's increase the distance a bit
    tVec = tVec*2;
    double angle = -45; // degrees


    cv::Mat rVec2 = getRotationMatrixAroundY(angle);

    // TODO: how to "add" some rotation to a previous rotation in Rodrigues?!?
    // atm just overwrite:


    std::vector<cv::Point2f> projectedPointsOnImage;
    cv::projectPoints(pointsOnPlane, rVec2, tVec, cameraIntrinsics, distCoefficients, projectedPointsOnImage);


    cv::Mat H = cv::findHomography(originalPointsInImage, projectedPointsOnImage);

    cv::Mat warped;
    cv::warpPerspective(input, warped, H, input.size());




    cv::imshow("input", input);
    cv::imshow("warped", warped);
    cv::waitKey(0);
    return 0;
}

结果如下：

如您所见，存在一个问题：旋转不是围绕银行节点的中心进行的。如果有人能解决这个问题，结果会更好。 Atm 我必须缩放翻译部分，之后可能没有必要。可能是平移+旋转组合错误导致的问题

用于比较：按 1.5 缩放的翻译：

未缩放：

这是你想要达到的效果吗（如果摄像机的观察中心可以固定在银行节点的中间）？

Answer 2

看here for a Projective Transformation using Matlab. You only have to find the right warping matrices (so-called homographies)。给定旋转矩阵和假设的相机内在函数，您可以使用维基百科上的数学来构建它们。

但是，我认为综合创建的训练数据可能会导致您的任务出现一些问题。钞票的反光部分经过精心设计，从不同的角度看会有所不同。你会丢失信息。

此外，不要低估开发它所需要的努力。这个领域正在进行相当复杂的研究。

看这里：

Towards Mobile Recognition and Verification of Holograms using Orthogonal Sampling

Mobile User Interfaces for Efficient Verification of Holograms

如何更改二维图像的视口？

How to change viewport of 2D image?

graphics

matlab

opencv

image-processing

computer-vision