orb matcher

qianlima jiayao roborock

ref ORB-SLAM（八）ORBmatcher 特征匹配 https://www.cnblogs.com/shang-slam/p/6431017.html

该类负责特征点与特征点之间，地图点与特征点之间通过投影关系、词袋模型或者Sim3位姿匹配。用来辅助完成单目初始化，三角化恢复新的地图点，tracking，relocalization以及loop closing，因此比较重要。

该类提供的API是：

SearchByProjection

1. 几个重载的SearchByProjection函数（第一个形参代表需要在其中寻找匹配点的当前图像帧/query；第二个形参则包含待匹配特征/train），用于

   　　a. 跟踪局部地图(在局部地图中寻找与当前帧特征点匹配的)。因为在TrackReferenceKeyFrame和TrackWithMotionModel中，仅仅是两帧之间跟踪，会跟丢地图点，这里通过跟踪局部地图，在当前帧中恢复出一些当前帧的地图点。　　其中的阈值th一般根据单目还是双目，或者最近有没有进行过重定位来确定，代表在投影点的这个平面阈值范围内寻找匹配特征点。匹配点不仅需要满足对极几何，初始位姿的约束；还需要满足描述子之间距离较小。

int ORBmatcher::SearchByProjection(Frame &F, const vector<MapPoint*> &vpMapPoints, const float th);

　　b. 匹配上一帧的地图点，即前后两帧匹配，用于TrackWithMotionModel。

int ORBmatcher::SearchByProjection(Frame &CurrentFrame, const Frame &LastFrame, const float th, const bool bMono);

　　c. 在当前帧中匹配所有关键帧中的地图点，用于Relocalization。

int ORBmatcher::SearchByProjection(Frame &CurrentFrame, KeyFrame *pKF, const set<MapPoint*> &sAlreadyFound, const float th , const int ORBdist);

　　d. 在当前关键帧中匹配所有关键帧中的地图点，需要计算sim3，用于Loop Closing。

int ORBmatcher::SearchByProjection(KeyFrame* pKF, cv::Mat Scw, const vector<MapPoint*> &vpPoints, vector<MapPoint*> &vpMatched, int th);

SearchByBow

1. 两个重载的SearchByBow函数（注意这里形参表示的匹配的主被动关系和SearchByProjection是反的），用于

   　　a. 在当前帧中匹配关键帧中的地图点，用于TrackReferenceKeyFrame和Relocalization。

int ORBmatcher::SearchByBoW(KeyFrame* pKF,Frame &F, vector<MapPoint*> &vpMapPointMatches);

　　b. 在当前关键帧中匹配所有关键帧中的地图点，用于Loop Closing。

int ORBmatcher::SearchByBoW(KeyFrame *pKF1, KeyFrame *pKF2, vector<MapPoint *> &vpMatches12);

1. 用于单目初始化的SearchForInitialization，以及利用三角化，在两个关键帧之间恢复出一些地图点SearchForTriangulation。
   ```
   int ORBmatcher::SearchForInitialization(Frame &F1, Frame &F2, vector &vbPrevMatched, vector &vnMatches12, int windowSize);
   int ORBmatcher::SearchForTriangulation(KeyFrame *pKF1, KeyFrame *pKF2, cv::Mat F12,
   vector > &vMatchedPairs, const bool bOnlyStereo);

2. 两个重载的Fuse函数，用于地图点的融合：

   　　地图点能匹配上当前关键帧的地图点，也就是地图点重合了，选择观测数多的地图点替换；地图点能匹配上当前帧的特征点，但是该特征点还没有生成地图点，则生成新的地图点）。

   　　重载的函数是为了减小尺度漂移的影响，需要知道当前关键帧的sim3位姿。

int ORBmatcher::Fuse(KeyFrame *pKF, const vector &vpMapPoints, const float th);
int ORBmatcher::Fuse(KeyFrame *pKF, cv::Mat Scw, const vector &vpPoints, float th, vector &vpReplacePoint);
5. 计算描述子之间的hanmming距离

int ORBmatcher::DescriptorDistance(const cv::Mat &a, const cv::Mat &b);

选取其中一个用于Relocalization的投影匹配着重理解。疑问是，何时用投影匹配，何时用DBow2进行匹配？在Relocalization和LoopClosing中进行匹配的是在很多帧关键帧集合中匹配，属于Place Recognition，因此需要用DBow，而投影匹配适用于两帧之间，或者投影范围内（局部地图，前一个关键帧对应地图点）的MapPoints与当前帧之间。

int ORBmatcher::SearchByProjection(Frame &CurrentFrame, KeyFrame *pKF, const set &sAlreadyFound, const float th , const int ORBdist);
用关键帧pKF的地图点投影匹配当前帧的特征点：