专题： Local Feature

在 SLAM 中 Local Feature 的提取和匹配是一个比较重要的内容，近些年有很多相关的使用 Deep Learning 学习局部描述子的工作，这里做一下相关文章和代码收集。后续如有精力会进行速度和性能比较。 文章收集 数据收集...

GCNv2 是一个专门针对几何匹配的描述子网络，是对 GCN 的改进版主要工作如下：1）与常见深度学习特征匹配的性能并且显著减少了前向运算的时间；2）加入了二值化层，生成二值特征。 1 GCNv2 网络结构 GCNv2 网络结构如下图所示： 这一结构不必赘述，其实跟 SuperPoint 很像，不过 Descriptors 部分是把 Keypoints 直接拿来取了相应的部分。PixelShuffle （有人也叫作 Sub-pixel Convolution 或者亚像素卷积）在文章（《Real-Time Single Image and Video Super-Resolution Using an Efficient...

SuperPoint 的工作取得了巨大的成功，但是有一个非常明显的问题就是训练和真值获取非常困难（采用仿真辅助）。在实际场景中，想要进行人工标注再 finetune 是比较难的。因此本文提出了一种无监督学习的方式同时获得关键点与描述子，虽然无监督，但是在数据集上取得了很好效果的同时也达到了很快的速度。 1 网络设计 本文的网络设计大体与 SuperPoint 一致，但是在 head 设计上面有很多细节不同，主要是 SuperPoint 主要使用分类方式离散地定位关键点坐标、是否为关键点等信息。在 UnsuperPoint 中，作者使用了 score map 作为关键点置信度指标、使用回归 offset 方式进行关键点定位。它的网络设计如下： 1.1 Backbone Module 本文的 Backbone module 与 SuperPoint 类似是一个...

Multi-Task Learning (MTL) 问题一个典型方法就是把所有的 Loss 放在一起优化，但是往往又需要设置不同权重。传统方法中往往根据不同 Loss 的量级等人为分析、实验等设置合理的权重，但是取得理想效果往往需要大量工作。本文提出了一种使用 Uncertainty 自动学习权重的方式。 如下图展示了一个典型的 Multi-Task Learning 的场景，同时学习 Semantic、Instance 和 Depth，这一场景包含了分类、特征学习、回归任务，比较典型，也是本文的示例： 本文主要创新点如下： 1）一种创新的原则，利用同方差不确定性的多任务学习方法 2）一个统一的用于学习 semantic segmentation, instance segmentation 和 depth regression 的框架 3）展示了通过学习方法获得权重的有效性 1 Multi Task...

本篇文章是 ECCV 2020 Oral ，来自 ETH 的最新大作。本文主要侧重点在于通过神经网络的方式在线选择不变性的局部特征。通过很少的计算量增加，该方法可以比较通用地扩展到各种检测和描述子中，极大地提升实际场景的匹配效果。 主要创新点如下： 使用一个网络通过多任务学习的方式学习出适应多种变化组合的描述子 提出了一种基于 meta descriptor 的轻量级在线选择不变性描述子的方式 本文提出的多任务学习变化描述子以及在线选择不变性描述子的方式，可以拓展到任何传统或者基于 learning 的描述子上，具有很强的通用性。 1 Learning the best invariance for local descriptors 为了说明选择最佳不变性描述子的意义，作者举了个例子： 如上图所示，在纯旋转情况下 SIFT 可以有很好的表现，但是在没有旋转时， Upright SIFT (主方向固定为 (0, 1))...

本文是基于 D2-Net 的进一步改进，主要创新点如下： 1）使用 Deformable Convolution 来进行稠密的变换估计和特征提取 2）使用特征金字塔适应空间分辨率以及使用 low-level 细节来进行精确的特征点定位 1 Methods 1.1 Prerequisites 本文的网络设计基于以下两个工作：DCN 和 D2-Net，首先回顾这两个工作的主要思想： Deformable convolutional networks (DCN) 可变形卷积 (Deformable Convolutional Networks, DCN) 的目的主要是学习动态感受野，对于传统卷积来说，其公式为： 其中 代表卷积的中心点坐标， 代表卷积 范围内的偏移量，...