学习使用卷积神经网络比较图像块:Learning to Compare Image Patches via Convolutional Neural Networks

摘要

在本文中,我们展示了如何直接从图像数据中学习特征(即不求助于手动设计的特征)用于比较图像块的通用相似性函数,这对于许多计算机视觉问题而言都是至关重要的任务。为了对这种功能进行编码,我们选择了基于CNN的模型,该模型经过训练可以解决图像外观的多种变化。为此,我们探索和研究了多种神经网络体系结构,这些体系结构特别适合此任务。我们证明了这种方法在某些问题和基准数据集上的性能明显优于最新技术。

介绍,论文贡献

  • 我们直接从图像数据中学习(即,没有任何手动设计的特征)通用相似性函数用于图片块比较,可以隐式考虑各种类型的转换和效果(例如,由于基线宽,照明度高等)。
  • 我们探索并提出了各种不同的神经网络模型,这些模型适用于表示这种功能,同时重点介绍了可提供改进性能的网络体系结构。如[Learning local feature descriptors using convex optimisation]。
  • 我们将我们的方法应用于几个问题和基准数据集,表明该方法明显优于最新技术,并且所生成的特征描述符比手动设计的描述符(例如SIFT,DAISY)或其他学习的描述符如 [Learning local feature descriptors using convex optimisation] 具有更好的性能 。重要的是,由于它们的卷积性质,即使以密集的方式生成的描述符也非常有效。

架构

描述了三种基本神经网络架构,即2通道,siamese(孪生),pseudo-siamese(伪孪生)

siamese 网络卷积后,将两个分支串联作为全连接层的输入。

左边的是2通道架构,右边的是Siamese和pseudo-siamese(区别就是伪孪生架构的CNN网络没有共享权重)。

与上面的Siamese和pseudo-siamese模型不同,2通道的架构中没有直接的描述符概念。我们仅将输入对的两个补丁视为 2 通道图像,直接将其馈送到网络的第一卷积层。在这种情况下,网络的底部由一系列卷积,ReLU和最大池化层组成。然后,将这部分的输出作为输入提供给顶部模块,该模块仅由具有1个输出的完全连接的线性决策层组成。与上述模型相比,该网络提供了更大的灵活性,因为它首先共同处理两个补丁。此外,训练速度很快,但是通常在测试时会比较昂贵,因为它要求以暴力方式对所有补丁组合进行相互测试。

附加模型

将卷积层变为更小的3×3,且使用Relu,增加非线性

Central-surround two-stream network.中央环绕两流网络

每一个支流都使用Siamese架构

是Siamese和pseudo-Siamese的结合,每一个支流的分支的CNN网络都共享权重,两个支流之间并不共享权重。

但是,两个支流之间是不同的,其可以在空间域中进行两种不同分辨率的处理。

  • 中央高分辨率流接收两个32×32色块作为输入,这些色块是通过裁剪(以原始分辨率)每个输入64×64色块的中央32×32部分而产生的。也就是图中输入部分的蓝色块
  • 环绕的低分辨率流接收两个32×32块作为输入,这些块是通过对原始输入块对的一半进行下采样而生成的。也就是图中输入的整个灰色块进行下采样

作者使用双流的原因

使用这种两流体系结构的原因之一是因为已知多分辨率信息对于提高图像匹配的性能很重要。此外,通过两次考虑补丁的中心部分(即在高分辨率流和低分辨率流中),我们隐式地将更多的焦点放在靠近补丁中心的像素上,而将较少的焦点放在边缘像素上。 ,这也可以帮助提高匹配的精度(本质上,由于将池化应用于下采样的图像,因此在匹配期间允许外围像素具有更大的方差)。

在这种情况下,所有输入的维度尺寸减少了两倍。结果,训练进行得更快,这也是另一个实际优势。

Spatial pyramid pooling (SPP) network for comparing patches. 用于比较图像块的SPP网络

需要比较任意大小的块时,即输入不是64 * 64时,需要调整为上述空间尺寸。

该体系结构实质上等于在网络的卷积层和完全连接的层之间插入一个空间金字塔池层。

Siamese网络加入SPP后的结构

Optimization. 优化

使用基于铰链的损失项和平方的l2-范数正则化

其中w是神经网络的权重,oi-net是第i个训练样本的网络输出,yi∈{−1,1}对应的标签(-1和1表示不匹配和匹配对)。

为了对抗过度拟合,作者通过在水平和垂直方向上成对翻转两个补丁并将其旋转到90、180、270度来增强训练数据。

实验及结果

siam-2streaml2

关于Siamese网络

http://www.yiyehu.tech/archives/2020/03/28/siamese-network-reprint





除非注明,否则均为一叶呼呼原创文章,转载必须以链接形式标明本文链接

本文链接:http://www.yiyehu.tech/archives/2020/03/31/learning-to-compare-image-patches-via-convolutional-neural-networks

发表评论

电子邮件地址不会被公开。 必填项已用*标注