专栏名称: OpenCV学堂

一个致力于计算机视觉OpenCV原创技术传播的公众号！OpenCV计算机视觉与tensorflow深度学习相关算法原创文章分享、函数使用技巧、源码分析与讨论、，计算机视觉前沿技术介绍，技术专家经验分享，人才交流，学习交流。

OpenCV筑基之图像的透视变换

OpenCV学堂 · 公众号 · · 2024-03-14 22:30

正文

1. 图像的透视变换

1.1 简介

图像的 透视变换 （Perspective Transformation）是指将图像投影到一个新的视平面（Viewing Plane），也称作 投影映射 （Projective Mapping）。

透视变换是一种非线性变换，它可以将一个二维坐标系中的点映射到三维坐标系中的点，然后再将其投影到另一个二维坐标系中的点。透视变换可以改变图像中的形状，并可以模拟真实世界中的透视效果。

仿射变换可以看成是透视变换的特殊情况 ，下图是对几何变换的总结。

透视变换的应用：

图像矫正透视变换可以用于矫正图像的透视失真，例如由于拍摄角度或镜头畸变导致的图像倾斜或拉伸。
图像配准透视变换可以用于将两张或多张图像进行配准，使其具有相同的几何形状。这在医学图像处理、卫星图像处理等领域有着重要的应用。
3D 建模透视变换可以用于将二维图像投影到三维空间，从而生成三维模型。
图像增强透视变换可以用于调整图像的视角，使其看起来更具吸引力。
图像合成透视变换可以用于将不同的图像合成在一起，创建新的图像。
特效透视变换可以用于创建各种特效，例如虚拟场景、3D 动画等。

1.2 原理

透视变换的定义为将图像中的所有点按照一定的透视关系映射到新的图像中。

透视关系可以由一个3x3的透视变换矩阵来表示，透视变换的矩阵如下：

其中，、、、表示线性变换，、表示平移变换，、表示透视变换。

透视变换的过程为：

此时，得到的不是最后的坐标，还需要进一步转换：

最终的坐标为：

重新回顾一下整个透视变换的过程：

不难看出看出仿射变换是透视变换的一种特殊情况。

2. 透视变换的应用

2.1 商品图位置矫正

下面的代码，对图中的没有摆正的商品通过透视变换将其对齐，然后在原图中将商品放正。主要用到了 OpenCV 的 findHomography() 、 warpPerspective() 函数进行透视变换。 findHomography() 函数用于计算两个平面之间进行透视变换的矩阵， warpPerspective() 函数用于对图像进行透视变换。

#include 
#include 
#include 
#include 

using namespace std;
using namespace cv;

bool ascendSort(vector a,vector b)
{
    return contourArea(a) > contourArea(b);
}

long pointSideLine(Point &lineP1, Point &lineP2, Point &point) {
    long x1 = lineP1.x;
    long y1 = lineP1.y;
    long x2 = lineP2.x;
    long y2 = lineP2.y;
    long x = point.x;
    long y = point.y;
    return (x - x1)*(y2 - y1) - (y - y1)*(x2 - x1);
}

vector sortPointByClockwise(vector points) {
    if (points.size() != 4) {
        return points;
    }
    Point unFoundPoint;
    vector result = {unFoundPoint, unFoundPoint, unFoundPoint, unFoundPoint};
    long minDistance = -1;
    for(auto point : points) {
        long distance = point.x * point.x + point.y * point.y;
        if(minDistance == -1 || distance             result[0] = point;
            minDistance = distance;
        }
    }

    if (result[0] != unFoundPoint) {
        Point &leftTop = result[0];
        points.erase(std::remove(points.begin(), points.end(), leftTop));
        if ((pointSideLine(leftTop, points[0], points[1]) * pointSideLine(leftTop, points[0], points[2])) 0) {
            result[2] = points[0];
        } else if ((pointSideLine(leftTop, points[1], points[0]) * pointSideLine(leftTop, points[1], points[2])) 0) {
            result[2] = points[1];
        } else if ((pointSideLine(leftTop, points[2], points[0]) * pointSideLine(leftTop, points[2], points[1])) 0) { result[2] = points[2]; } } if (result[0] != unFoundPoint && result[2] != unFoundPoint) { Point &leftTop = result[0]; Point &rightBottom = result[2]; points.erase(std::remove(points.begin(), points.end(), rightBottom)); if (pointSideLine(leftTop, rightBottom, points[0]) > 0) {
            result[1] = points[0];
            result[3] = points[1];
        } else {
            result[1] = points[1];
            result[3] = points[0];
        }
    }

    if (result[0] != unFoundPoint && result[1] != unFoundPoint && result[2] != unFoundPoint && result[3] != unFoundPoint) {
        return result;
    }

    return points;
}

int main(int argc,char *argv[])
{
    Mat src = imread(".../product.jpg");
    imshow("src", src);

    Mat gray, binary;
    cvtColor(src, gray, COLOR_BGR2GRAY);
    threshold(gray, binary, 0, 255, THRESH_BINARY | THRESH_OTSU);
    imshow("binary", binary);

    vector<vector> contours;
    vector hierarchy;
    findContours(binary, contours, hierarchy, RETR_TREE, CHAIN_APPROX_SIMPLE);

    sort(contours.begin(), contours.end(), ascendSort);//ascending sort

    RotatedRect rrt = minAreaRect(contours[0]);
    Rect bbox = rrt.boundingRect();

    if (bbox.height > 2000) {
        rrt = minAreaRect(contours[1]);
        bbox = rrt.boundingRect();
    }

    Mat roi;
    try {
        roi = src(bbox);
    }
    catch (...) {
    }
    imshow("roi", roi);

    int width = static_cast<int>(rrt.size.width);
    int height = static_cast<int>(rrt.size.height);
    float angle = rrt.angle;

    printf("height %d, width :%d, angle:%f\n", height, width, angle);

    Point2f vertices[4];
    rrt.points(vertices);
    vector src_pts;

    for (int i = 0; i 4; i++) {
        printf("x=%.2f, y=%.2f\n", vertices[i].x, vertices[i].y);
        src_pts.push_back(vertices[i]);
    }

    src_pts = sortPointByClockwise(src_pts); // 将顶点按照顺时针方向进行排序

    vector dst_pts;
    dst_pts.push_back(Point(0, 0));
    dst_pts.push_back(Point(width, 0));
    dst_pts.push_back(Point(width, height));
    dst_pts.push_back(Point(0, height));

    Mat M = findHomography(src_pts, dst_pts);
    Mat result = Mat::zeros(Size(width, height), CV_8UC3);
    warpPerspective(src, result, M, result.size());

    imshow("result", result);

    resize(result,result,roi.size());

    result.copyTo(roi);

    imshow("final", src);
    waitKey(0);
    return 0;
}

简单介绍一下 warpPerspective() 函数：

void warpPerspective( InputArray src, OutputArray dst,
                                   InputArray M, Size dsize,
                                   int flags = INTER_LINEAR,
                                   int borderMode = BORDER_CONSTANT,
                                   const Scalar& borderValue = Scalar());

第一个参数 src: 输入图像。

第二个参数 dst: 输出图像，与 src 具有相同的类型和大小。

第三个参数 M: 3x3 的透视变换矩阵。

第四个参数 dsize: 输出图像的大小。

上述代码，还需要注意调用 findHomography() 函数时，输入点的集合和输出点的集合顺序要一致。

2.2 广告牌内容替换

透视变换还有一个比较经典的例子，就是替换一张图像中广告牌的内容，下面的代码展示了这个例子：

#include 
#include