OpenCV2学习笔记（十三）：基于SURF特性的图像匹配

SURF算法是著名的尺度不变特征检测器SIFT(Scale-Invariant Features Transform)的高效变种，它为每个检测到的特征定义了位置和尺度，其中尺度的值可用于定义围绕特征点的窗口大小，使得每个特征点都与众不同。这里便是使用SURF算法提取两幅图像中的特征点描述子，并调用OpenCV中的函数进行匹配，最后输出一个可视化的结果，开发平台为Qt5.3.2+OpenCV2.4.9。以下给出图像匹配的实现步骤：

一、输入两幅图像，使用OpenCV中的cv::FeatureDetector接口实现SURF特征检测，在实际调试中改变阈值可获得不一样的检测结果：

    // 设置两个用于存放特征点的向量
    std::vector<cv::KeyPoint> keypoint1;
    std::vector<cv::KeyPoint> keypoint2;

    // 构造SURF特征检测器
    cv::SurfFeatureDetector surf(3000); // 阈值

    // 对两幅图分别检测SURF特征
    surf.detect(image1,keypoint1);
    surf.detect(image2,keypoint2);

二、OpenCV 2.0版本中引入一个通用类，用于提取不同的特征点描述子。在这里构造一个SURF描述子提取器，输出的结果是一个矩阵，它的行数与特征点向量中的元素个数相同。每行都是一个N维描述子的向量。在SURF算法中，默认的描述子维度为64，该向量描绘了特征点周围的强度样式。两个特征点越相似，它们的特征向量也就越接近，因此这些描述子在图像匹配中十分有用：

    cv::SurfDescriptorExtractor surfDesc;

    // 对两幅图像提取SURF描述子
    cv::Mat descriptor1, descriptor2;
    surfDesc.compute(image1,keypoint1,descriptor1);
    surfDesc.compute(image2,keypoint2,descriptor2);

提取出两幅图像各自的特征点描述子后，需要进行比较（匹配）。可以调用OpenCV中的类cv::BruteForceMatcher构造一个匹配器。cv::BruteForceMatcher是类cv::DescriptorMatcher的一个子类，定义了不同的匹配策略的共同接口，结果返回一个cv::DMatch向量，它将被用于表示一对匹配的描述子。（关于cv::BruteForceMatcher 请参考： http://blog.csdn.net/panda1234lee/article/details/11094483?utm_source=tuicool）

三、在一批特征点匹配结果中筛选出评分（或者称距离）最理想的25个匹配结果，这通过std::nth_element实现。

void nth_element(_RandomAccessIterator _first, _RandomAccessIterator _nth, _RandomAccessIterator _last)  

该函数的作用为将迭代器指向的从_first 到 _last 之间的元素进行二分排序，以_nth 为分界，前面都比 _Nth 小（大），后面都比之大（小），因此适用于找出前n个最大（最小）的元素。

四、最后一步，将匹配的结果可视化。OpenCV提供一个绘制函数以产生由两幅输入图像拼接而成的图像，而匹配的点由直线相连：

    // 以下操作将匹配结果可视化
    cv::Mat imageMatches;
    cv::drawMatches(image1,keypoint1,  // 第一张图片和检测到的特征点
                    image2,keypoint2,  // 第二张图片和检测到的特征点
                    matches,            // 输出的匹配结果
                    imageMatches,       // 生成的图像
                    cv::Scalar(128,128,128)); // 画直线的颜色

要注意SIFT、SURF的函数在OpenCV的nonfree模块中而不是features2d，cv::BruteForceMatcher类存放在legacy模块中，因此函数中需要包含头文件：

#include <opencv2/legacy/legacy.hpp>
#include <opencv2/nonfree/nonfree.hpp>

完整代码如下：

#include <QCoreApplication>
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/legacy/legacy.hpp>
#include <opencv2/nonfree/nonfree.hpp>
#include <QDebug>

int main(int argc, char *argv[])
{
    QCoreApplication a(argc, argv);
        // 以下两图比之
    // 输入两张要匹配的图
    cv::Mat image1= cv::imread("c:/Fig12.18(a1).jpg",0);
    cv::Mat image2= cv::imread("c:/Fig12.18(a2).jpg",0);
    if (!image1.data || !image2.data)
        qDebug() << "Error!";

    cv::namedWindow("Right Image");
    cv::imshow("Right Image", image1);
    cv::namedWindow("Left Image");
    cv::imshow("Left Image", image2);

    // 存放特征点的向量
    std::vector<cv::KeyPoint> keypoint1;
    std::vector<cv::KeyPoint> keypoint2;

    // 构造SURF特征检测器
    cv::SurfFeatureDetector surf(3000); // 阈值

    // 对两幅图分别检测SURF特征
    surf.detect(image1,keypoint1);
    surf.detect(image2,keypoint2);

    // 输出带有详细特征点信息的两幅图像
    cv::Mat imageSURF;
    cv::drawKeypoints(image1,keypoint1,
                      imageSURF,
                      cv::Scalar(255,255,255),
                      cv::DrawMatchesFlags::DRAW_RICH_KEYPOINTS);
    cv::namedWindow("Right SURF Features");
    cv::imshow("Right SURF Features", imageSURF);
    cv::drawKeypoints(image2,keypoint2,
                      imageSURF,
                      cv::Scalar(255,255,255),
                      cv::DrawMatchesFlags::DRAW_RICH_KEYPOINTS);
    cv::namedWindow("Left SURF Features");
    cv::imshow("Left SURF Features", imageSURF);

    // 构造SURF描述子提取器
    cv::SurfDescriptorExtractor surfDesc;

    // 对两幅图像提取SURF描述子
    cv::Mat descriptor1, descriptor2;
    surfDesc.compute(image1,keypoint1,descriptor1);
    surfDesc.compute(image2,keypoint2,descriptor2);

    // 构造匹配器
    cv::BruteForceMatcher< cv::L2<float> > matcher;

    // 将两张图片的描述子进行匹配，只选择25个最佳匹配
    std::vector<cv::DMatch> matches;
    matcher.match(descriptor1, descriptor2, matches);

    std::nth_element(matches.begin(),    // 初始位置
                     matches.begin()+24, // 排序元素的位置
                     matches.end());     // 终止位置
    // 移除25位后的所有元素
    matches.erase(matches.begin()+25, matches.end());

    // 以下操作将匹配结果可视化
    cv::Mat imageMatches;
    cv::drawMatches(image1,keypoint1,  // 第一张图片和检测到的特征点
                    image2,keypoint2,  // 第二张图片和检测到的特征点
                    matches,            // 输出的匹配结果
                    imageMatches,       // 生成的图像
                    cv::Scalar(128,128,128)); // 画直线的颜色
    cv::namedWindow("Matches"); //, CV_WINDOW_NORMAL);
    cv::imshow("Matches",imageMatches);

    return a.exec();
}

效果一，由于原图中飞机的边缘有锯齿状，因此只需观察拐角处，匹配效果良好：

效果二，不涉及图像的旋转和变形，只是将一幅图像进行缩放后进行匹配，得出的效果自然是很好：

效果三，用两个不同的角度拍摄的图像进行匹配，其中部分特征点匹配有偏差，总体效果良好，在调试过程中还可以通过参数调整获取更好的匹配效果。

附注：另一种匹配方法是使用 cv::FlannBasedMatcher 接口以及函数 FLANN 实现快速高效匹配(快速最近邻逼近搜索函数库(Fast Approximate Nearest Neighbor Search Library))。网上有源代码例程如下：

#include <stdio.h>
#include <iostream>
#include "opencv2/core/core.hpp"
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/legacy/legacy.hpp>
#include "opencv2/features2d/features2d.hpp"
#include "opencv2/highgui/highgui.hpp"

using namespace cv;

void readme();

/** @function main */
int main( int argc, char** argv )
{
  if( argc != 3 )
  { readme(); return -1; }

  Mat img_1 = imread( argv[1], CV_LOAD_IMAGE_GRAYSCALE );
  Mat img_2 = imread( argv[2], CV_LOAD_IMAGE_GRAYSCALE );

  if( !img_1.data || !img_2.data )
  { std::cout<< " --(!) Error reading images " << std::endl; return -1; }

  //-- Step 1: Detect the keypoints using SURF Detector
  int minHessian = 400;

  SurfFeatureDetector detector( minHessian );

  std::vector<KeyPoint> keypoints_1, keypoints_2;

  detector.detect( img_1, keypoints_1 );
  detector.detect( img_2, keypoints_2 );

  //-- Step 2: Calculate descriptors (feature vectors)
  SurfDescriptorExtractor extractor;

  Mat descriptors_1, descriptors_2;

  extractor.compute( img_1, keypoints_1, descriptors_1 );
  extractor.compute( img_2, keypoints_2, descriptors_2 );

  //-- Step 3: Matching descriptor vectors using FLANN matcher
  FlannBasedMatcher matcher;
  std::vector< DMatch > matches;
  matcher.match( descriptors_1, descriptors_2, matches );

  double max_dist = 0; double min_dist = 100;

  //-- Quick calculation of max and min distances between keypoints
  for( int i = 0; i < descriptors_1.rows; i++ )
  { double dist = matches[i].distance;
    if( dist < min_dist ) min_dist = dist;
    if( dist > max_dist ) max_dist = dist;
  }

  printf("-- Max dist : %f \n", max_dist );
  printf("-- Min dist : %f \n", min_dist );

  //-- Draw only "good" matches (i.e. whose distance is less than 2*min_dist )
  //-- PS.- radiusMatch can also be used here.
  std::vector< DMatch > good_matches;

  for( int i = 0; i < descriptors_1.rows; i++ )
  { if( matches[i].distance < 2*min_dist )
    { good_matches.push_back( matches[i]); }
  }

  //-- Draw only "good" matches
  Mat img_matches;
  drawMatches( img_1, keypoints_1, img_2, keypoints_2,
               good_matches, img_matches, Scalar::all(-1), Scalar::all(-1),
               vector<char>(), DrawMatchesFlags::NOT_DRAW_SINGLE_POINTS );

  //-- Show detected matches
  imshow( "Good Matches", img_matches );

  for( int i = 0; i < good_matches.size(); i++ )
  { printf( "-- Good Match [%d] Keypoint 1: %d  -- Keypoint 2: %d  \n", i, good_matches[i].queryIdx, good_matches[i].trainIdx ); }

  waitKey(0);

  return 0;
 }

 /** @function readme */
 void readme()
 { std::cout << " Usage: ./SURF_FlannMatcher <img1> <img2>" << std::endl; }

以上只是记录这种方法的实现例程，并没有验证代码的正确性。

参考资料：

http://blog.sina.com.cn/s/blog_a98e39a201017pgn.html

http://www.cnblogs.com/tornadomeet/archive/2012/08/17/2644903.html （SURF算法的理论介绍）

http://blog.csdn.net/liyuefeilong/article/details/44166069

http://www.opencv.org.cn/opencvdoc/2.3.2/html/doc/tutorials/features2d/feature_flann_matcher/feature_flann_matcher.html