Object Recognition from Local Scale-Invariant Features

David G. Lowe

Computer Science Department

University of British Columbia

Vancouver, B.C., V6T 1Z4, Canada

Abstract

An object recognition system has been developed that uses a new class of local image features. The features are invariant to image scaling, translation, and rotation, and partially in-variant to illumination changes and affine or 3D projection. These features share similar properties with neurons in in-ferior temporal cortex that are used for object recognition in primate vision. Features are efficiently detected through a staged filtering approach that identifies stable points in scale space. Image keys are created that allow for local ge-ometric deformations by representing blurred image gradi-ents in multiple orientation planes and at multiple scales. The keys are used as input to a nearest-neighbor indexing method that identifies candidate object matches. Final veri-fication of each match is achieved by finding a low-residual least-squares solution for the unknown model parameters. Experimental results show that robust object recognition can be achieved in cluttered partially-occluded images with a computation time of under 2 seconds.

1. Introduction

Object recognition in cluttered real-world scenes requires local image features that are unaffected by nearby clutter or partial occlusion. The features must be at least partially invariant to illumination,3D projective transforms, and common object variations. On the other hand, the features must also be sufficiently distinctive to identify specific objects amongmanyalternatives. The difficulty of the object recognition problem is due in large part to the lack of success in finding such image features. However, recent research on the use of dense local features (e.g., Schmid amp; Mohr ) has shown that ef

来自局部尺度不变特性的对象识别

大卫·g·劳

计算机科学系

英属哥伦比亚大学

温哥华公元前,V6T 1 z4,加拿大

摘要

已经开发了一种对象识别系统，它使用了一种新的本地图像特性。这些特性对于图像缩放、平移和旋转都是不变的，并且在一定程度上是对光照变化和仿射或3D投影的局部变化。这些特征与在灵长类动物视觉中用于物体识别的神经元具有相似的特性。通过一种分阶段的过滤方法来有效地检测特征，该方法可以识别尺度空间中的稳定点。图像键可以通过在多个方向平面和多个尺度上表示模糊的图像梯度，从而允许局部的图像变形。键被用来作为一个邻近的索引方法的输入，这个方法可以识别候选对象匹配。通过为未知模型参数寻找一个低残值最小二乘解，从而实现对每个匹配的最终验证。实验结果表明，在混乱的部分遮挡的图像中，在2秒的时间内可以实现鲁棒的目标识别。

1。介绍

在混乱的现实场景中，物体识别需要局部的图像特征，而不受附近的混乱或部分遮挡的影响。这些特征必须至少是对照明的部分不变性，三维投影变换，以及常见的物体变化。另一方面，这些特性也必须具有足够的特性，以识别许多其他选项中的特定对象。对象识别问题的困难很大程度上是由于在寻找这样的图像特征方面缺乏成功。然而，最近关于使用密集的本地特性的研究(例如:Schmidamp;Mohr)已经表明，通过在大量可重复的位置采样的局部图像描述符可以实现有效的识别。

摘要提出了一种新的图像特征生成方法，称为“尺度不变特征变换”(筛选)。这种方法将一个图像转换为大量的本地特征向量，每个特征向量都是不变的，包括图像转换、缩放和旋转，以及部分不变的

照明改变，仿射或3D投影。以前对局部特征生成的方法缺乏尺度的不变性，对投射失真和光照变化更敏感。这些筛选特征与灵长类动物视觉上的神经颞(IT)皮质的反应有许多共同之处。本文还介绍了索引和模型验证的改进方法。

使用分级过滤方法有效地识别了标不不变特性。第一阶段通过寻找aremaxima或最低限度的高ussianfunction的位置来确定规模空间中的关键位置。每个点都用来生成一个特征向量，用来描述本地的imageregionsampled相对论空间坐标框架。该特性通过模糊图像梯度位置，实现局部变量的局部不变性，如仿射或三维投影。这种方法是建立在哺乳动物视觉大脑皮层的复杂细胞行为模型的基础上的。产生的特征向量称为筛选键。在当前的实现中，每个图像生成了1000个筛选键的on理论上，一个过程只需要不到1秒的计算时间。从图像中获得的筛选键被用于接近相邻的索引来识别候选对象模型。在一个潜在的模型中，对一个潜在的模型的集合的集合，首先是通过一个houghtransformhashtable，然后通过对模型参数的估计。当至少3个键在模型参数上有较低的剩余时，有强有力的证据表明物体存在。由于在典型对象的图像中可能有几十个筛选键，因此在图像中有可能存在大量的遮挡，但仍然保持较高的可靠性。当前的对象模型被表示为可以接受仿射投影的二维位置。在特征位置上有足够的变化，可以识别平面形状的角度投影，在距离摄像机的60度旋转或允许一个三维物体旋转20度的情况下。

2。相关研究

摘要对象识别技术广泛应用于机器视觉，目的是为了检测、注册和控制。然而，目前用于对象识别的商业系统几乎完全依赖于基于相关性的模板匹配。对于某些特定的环境，当物体的摆姿和光照受到严格控制时，当对象旋转、缩放、光照和三维姿态被允许变化时，模板匹配在计算上是不可行的，甚至在处理局部可见性和大型模型数据库时更是如此。

寻找匹配的所有图像位置的另一种选择是从图像的图像中提取出至少部分不变性的图像，并且只匹配那些特征。许多候选特征类型已经被提议和探索，包括第6条、第11条、第14条和第2部分的分组，以及其他许多建议。虽然这些特性在某些对象类上运行良好，但它们常常不够频繁，或者具有足够的稳定性，从而形成可靠的识别基础。

最近有一项关于开发更密集的图像功能集合的工作。一种方法是使用角落探测器(更准确地说，是局部图像变化的峰值检测器)来识别可重复的图像定位，在这些地方可以测量局部的图像属性。张等23用哈里斯角探测器将不同视角拍摄的图像从不同的角度进行了定位。与其试图将一个图像与所有可能的区域相关联，而不是在第二个图像中与所有可能的区域相关联，在计算时间中，只有在每个图像中以角点为中心的匹配区域，才能节省大量的计算时间。

对于对象识别问题，Schmid和Schmid 19还使用了哈里斯角探测器来识别最重要的点，然后在每一个兴趣点上创建了一个局部图像描述符，从一个不确定的角度来