遵为了点儿帧图。场景被的一个纯特征以及一个浩大图像的大型特色数据库也生深高之几率进行对匹配。

/*

于规范不换的主要点选而分别的图像特点

倘给点儿摆设图,中间产生相似点。要求做配合。怎么开。我现在能够讲么?

David G.Lowe

 

温哥华不列颠哥伦比亚省加拿大英属哥伦比亚大学计算机科学系

论让了少于轴图,先求出sift点。

Lowe@cs.ubc.ca

 

2003年1月10日接受,2004年1月7日修改,2004年1月22日采用

尺度空间极值检测。高斯模糊

 

一言九鼎点一定

摘要:本文提出了同种由图像中取独特不转换特征的措施,可用于完成不同意见之间目标还是现象的保险匹配的方式。这种特性对图像的标准化和旋转具有无变性。并跨越大特别范围之对准仿射变换,三维视点的别,添加的噪声与光照变化之图像匹配有鲁棒性。特征是好醒目的,场景中之一个纯特征和一个丛图像的大型特色数据库也来良高之几率进行对匹配。本文还介绍了一个以该意义来鉴别目标的计。通过以分头特征和由已知晓目标特征结合的数据库进行快速最近邻算法的匹配,然后下Hough变换来甄别属于纯目标的聚类(clusters),最后经极端小二乘机解执行同一的千姿百态参数的审确认。这种识别方法可以以雄确定目标之间的聚类和屏蔽的以实现近实时性。

着重点方向规定

关键词:不换特征,目标识别,尺度不变性,图像匹配

重要点描述

 

 

1. 引言

kdtree 和 bbf 最精美节点优先算法

  

进展简单轴图片特征点的匹配,会含有一些请勿科学的匹配点

图像匹配是电脑视觉领域被许多题目的根本,包括目标及状况识别、多轴影像进行三维构建、立体对许(correspondence)、运动追踪等。本文描述的图像特点颇实用,因为其有着多方可将一个对象或气象的例外影像进行匹配的特征。这些特色于图像尺度与旋转具有无变性,并当光照变化以及三维相机视点变化之场面下有部分的不变性。它于空间域和频率域都得很好地定位,减少了挡(occlusion)、聚类和噪声的震慑。有矣实用的算法,海量的特征就是可以自突出的图像中领取出。另外,这些特色是老肯定的,使一个纯净特征可以对地及大型数据库被之表征进行匹配,为目标和观识别提供了基础。

 

  通过一个层叠的过滤算法将提取这些特点的代价最小化,这样,最贵之演算仅以头测试通过处。下面是死成图像特点集计算的有些最主要步骤:

ransac 随机抽样一致,消除无适当的触发

1)  尺度空间极值探测:第一品级对合尺度与图像位置进行检索。通过下高斯差分函数来有效地分辨对于规范与动向有着无变性的或的兴趣点。

管需要般配的触发,限定到某个一个没错的地方

2)  最主要点铁定:在列一个候选区,都得规定一个缕模型的职务以及准。基于关键点的平安进行选择。

 

3)  定向任务:基于局部图像的梯度方向,给每个关键点指定一个还是多单样子。所有随后的图像数据操作都是拿每个特征的矛头、尺度和职位展开有关变换得到的,因此这些易具有无变性。

因这种匹配的结果。确定两轴图相交的之一一个点。

4)  重点点描述子:局部梯度是在每个重点点附近的区域所选择规则上测量得到的。这些可转正成一个许显著的局部形状变化和光照变化之表示拟。

 

  这种措施为取名吧原则不移的特点转换法(SIFT),因为她可因局部特征将图像数据易到标准不更换的坐标上。

按部就班简单轴图的重合方式是,左上右侧下的主意,那么以不重叠的地方,按照左边图像写入,然后全黑。

  该措施的一个关键方面是它们好成了大量特色,它们密集的幂了全部图像尺度与位置。一轴500*500诸如从的天下第一图片可以发大约2000个稳定的特色(其一数字依赖让图像内容与几独参数的选取)。特征的多寡对目标识别尤为重要,要所有探测杂乱背景下之略目标的能力,要求每个目标至少有三单特点被正确匹配才是牢靠的识别。

臃肿地方,按照权值进行平整对接。左下角的一部分涂黑,右下角不重叠的地方仍右图写副。

  对于图像匹配和识别,SIFT特征被第一独从平组参考图像中提取并储存在数据库被。一个初的图像通过以即时幅新图像中的相继特征与原数据库进行逐一对比并基于欧氏距离找到候选的配合特征。本文将讨论得当大型数据库被飞快执行之很快近邻算法。

 

  关键点描述子是坏显著的,可以要单个特征于大型特色数据库中盖特别大概率进行正确匹配。然而,在混乱的图像中,很多背景中之特色未可知同数据库进行科学匹配,产生了诸多左的交配。通过规定与新图像在靶、目标的职务、尺度与定向一致的关键点的子集,可以拿科学的配合从匹配的全都集中过滤出来。多种效应恰好跟这些参数一致的可能比任一个风味匹配错误的可能要有些多。确定这些同的聚类,可以透过一个便捷的广义Hough变换的散列表快速执行。

*/

  每个有三独同三个以上特征跟目标一致的聚类,它们的态度都要开展下一样步更小巧的承认。首先,最小二乘机估计是用于目标姿态的仿射近似。其他都认识别的与是姿态相平等的图像特点以及非常值都忽略不计。最后,通过一个娇小的测算好得出一致组好表明目标是的详尽特征,并叫有适合的准确度和可能的一无是处匹配数。经过所有的这些实验,可以得出这结论:目标匹配的成功率特别高。

 

2. 连带研究

慢慢来:

  使用同一组有兴趣点来展开图像匹配的升华得追溯至1981年Moravec在立体匹配中使用的比赛探测器。Moravec的探测器于1988年让Harris和Stephens改进,在稍微的图像变动和靠近边缘区域所有了更胜的重复性。Harris还展示了其以迅速运动追踪和出于活动恢复进行三维建模中的价(Harris,1992),Harris的比探测器自此在群旁的图像匹配工作面临受广泛的运。尽管是特点探测器于喻为角探测器,但她并无是不得不挑角,而是可以当一个规定标准的相继方向直达摘具有具有老的梯度的图像位置。

其三组并六只公文

  该办法的首使用是立体或短途运动追踪,而后来给扩张及解决有又艰难的题目。Zhang等人当1995年以每个角的方圆采用有关窗口来选择也许的匹配,使得Harris的比进行大幅图像范围之相当成为可能。计算标准场景中简单个视角间的几乎哪约束的基础矩阵,移除异常值,同时移除那些跟大多数术不平等的交配。同年(1995),Torr研发了平等种恍若之方式来拓展充分距离的移动匹配,使用多约束来更换除了图像中走刚体的酷值。

imgfeatures.h 和imgfeatures.c 部分

  1997年,Schmid和Mohr的开创性工作显得了非转移的组成部分特征匹配可以被扩大至解决相似的图像识别问题,即采用一个特点和大型图像数据库进行匹配。他们还使Harris角探测器来抉择兴趣点,但他俩下的凡一个图像局部区域之团团转不转移的描述子来代替相关窗口。这是特点可以于少帧图像里开展随机方向变化时展开匹配。此外,他们还证明多特点匹配可以由此辨认一致的相当特征聚类,在遮挡和混的情况下形成一般的辨识工作。

枚举类型1:

  Harris角探测器对图像尺度之变甚灵活。据此,对于不同规格之图像匹配,Harris的角反射器并无克提供特别好的根基。本文作者(Lowe)在1999年底初工作面临扩大了这种有特征措施来促成规范不变性。这个工作还阐述了平种植新的片描述子,可以退对部分图像变形的敏感度(如三维视点的变换),同时找到更分明的特性。本文提出了对当下同样办法尤其深入之研发,并分析了这些前期的办事,在平安和特色未变性上展开了大气改进。

feature_type

  以头里的研讨着,关于在标准变换下表征(representation)的安定团结识别占了生死的字数。最早以斯小圈子拓展研讨之发生Crowley和Parker,1984年,他们在尺度空间发现了一样栽特色可以识别峰和脊索,并把其和培养结构联系起。然后,就好以肆意尺度变换的图像里展开培育结构的匹配。在近年根据图像匹配的劳作备受,Shokoufandeh等人当1999年下小波系数提出了扳平栽更加不言而喻的特征描述子。Lindeberg在1993-1994年对也特点探测识别一个正好并且相同的尺度这同一题材进行了尖锐研讨。他称为尺度选择题材,我们在脚用了立无异于定论。

枚举类型2:

  最近,有了大气使得人记忆深刻的用一些特征扩展为全局仿射变换不变量的做事(Baumberg,2000;Tuytelaars和Van
Gool,2000;Mikolajczyk和Schmid,2002;Schaffalitzky和Zisserman,2002;Brown和Lowe,2002)。这叫以转移之正射三维投影平面上的性状匹配有了未变性,多数景象下利用对图像局部仿射框架进行再采样的不二法门。然而,还无一个主意实现了净的仿射不变性,由于充分勘探仿射空间的基金过高,因此他们为此一个非仿射不转移的办法对前期特征、尺度和岗位展开分选。仿射框架和原则不转换的特性相比,对噪音更加灵活,因此,实践备受只有在仿射变形和平面倾斜程度大于40渡过时(Mikolajczyk,2002),仿射特征比较标准不更换的性状重复率要低。对于多使,更富的仿射不变性或连无根本,因为为了赢得三维目标的非平面变化和屏蔽的震慑,瞄准视角至少每30度旋转一下视点(也就是说对于极端靠近的瞄准视角,识别为是在15度过以内进行的)。

feature_match_type

  尽管本文中之计不富有全的仿射不变性,但她以了一致栽新鲜的艺术来如果有描述子可以趁机描述子很有些之成形来明确地改变相关特征的职位。这种方法不仅使描述子可以当相当好范围之仿射变形时展开保险地兼容,还好假设特征于非平面的老三维视点变化时享有双重好之鲁棒性。另一个独到之处是其可提出还多之实惠特征,并得以辨别大量风味。另一方面,在老大可怜规格之眼光变化下,仿射不变性是匹配平面深有价之习性,以后的研究相应在一个灵光稳定之艺术下,将随即或多或少及非平面的老三维视点不变性很好地整合的尺码下进行。

星星组特征颜色

  还有许多其它的叫推荐进行甄别的特色类型,有的可以用于救助本文所陈述方法以不同环境遭受进行更的配合工作。其中同样种是下图像轮廓或区域边缘的特点,可叫用来减少目标边界附近的聚类背景所带的搅和。Matas等丁于2002年称他们的极老平安极端区域可以起大量兼有优良稳定性的相当特征。Mikolajczyk等丁于2003年运部分边缘(edge)而忽视附近的无关边缘,发现了扳平栽新的描述子,即使在重叠背景聚类上小形状的分界附近也得以于摸稳定的表征。Nelson和Selinger在1998年采取基于图像轮廓分组的组成部分特征得到了挺好的结果。类似之,Pope和Lowe在2000年应用的凡根据图像轮廓的等级分类的特色,尤其是对此缺乏详尽纹理的靶子非常管用。

#define FEATURE_OXFD_COLOR CV_RGB(255,255,0)
#define FEATURE_LOWE_COLOR CV_RGB(255,0,255)

  对于视觉识别的研究历史包括从事为不同的可是叫看成特征测量的别图像属性数会合的行事。Carneiro和Jepson在2002年描述了一如既往种植基于相位的一部分特征,它们用相位来代表只要无是一些空间频率的量级,这种艺术更有利于光照不变量的增强。Schiele和Crowley在2000年提议利用多维直方图来概括图像区域外之测量值的分布。这种特征于纹理明显的形制畸变的靶子更进一步有效。Basri和Jacobs在1997年认证了提部分区域界线对于识别的价。其他可以吸纳的发出因此性有像颜色、运动、图形背景识别、区域形状描述子和立体景深提示等。当有指向鲁棒性有增长的足增长匹配成功率的新特征类型时,只要她的计成本对其余特色的震慑较小,都得大概地受一些特征措施采纳作为额外的特点。因此,以后的系或者会见由于众多特征类型组合而成。

述子长度

3. 尺度空间极值的发现

#define FEATURE_MAX_D 128

  引言中已经干了,我们使用同样种高效之先识别候选位置然后一发肯定的层叠过滤方法来探测关键点。关键点探测的率先步是识别同一目标以不同观点下可让再度分配的职务以及原则。使用于称之为尺度空间的规范连续函数,通过搜索对拥有标准的安居乐业特征进行搜,可以做到对图像尺度变换具有无变性的职务探测。(Witkin,1983)。

特点结构

  Koenderink和Lindeberg分别于1984年以及1994年提出通过同多元成立之如果,尺度空间唯一有效的按就是高斯函数。因此,被定义也平轴图像尺度空间函数的L(x,y,σ)是由于标准可变的高斯函数G(x,y,σ)和输入图像I(x,y)的卷积产生:图片 1其中*呢x和y之间的卷积运算。而

feature

图片 2

季只函数:

  为了在尺度空间中高效地探测有稳定的要害点位置,我们只要(Lowe,1999)使用尺度空间在高斯差分中的极值与图像卷积。可以算得到两个相邻的由于常数乘系数k分离的口径之差值:

1、导入特征点

图片 3

2、导出特征点

  有过多挑选这函数的理。首先,这是一个高效计算的函数,因为平图像L需要算尺度空间特征描述的其余情形,而D只需要计算简单的图像减法。

3、绘画特征点

  另外,Lindeberg于1994年研究表明,高斯差分函数可以提供高斯拉普拉斯底原则规范化解得近似值

4、计算两独述子之间的欧氏距离。

图片 4。Lindeberg展示了拉普拉斯在真实尺度不变性所求的图片 5要素下之尺度。在更小巧的试对比中,Mikolajczyk于2002年察觉,与任何可能的图像函数如梯度法、Hessian法和Harris角函数相比,图片 6的最要命价值和最小值产生了无与伦比平稳之图像特点。

在叙特征点导入时:http://www.robots.ox.ac.uk:5000/~vgg/research/affine/index.html

      
D和图片 7的涉及足以从热扩散公式来理解(参数为σ而未是周边的图片 8形式):图片 9

发这样一个验证

      
由此,我们得以看到图片 10好据此当片只相邻的格kσ,σ求解最终之差分近似为图片 11

接下来是实现

图片 12

 

因此,

导入特征点时:

图片 13

自打文本被读取特征点,文件之团组织格式应该是可牛津视觉几哪里组的编码形式,或者称大卫罗尔的编码格式。type这个地方的参数如果是
FEATURE_TYPE
那么它即会见吃仍牛津风味输入文件之方式相比,也不怕是牛津视觉几哪里组,详见http://www.robots.ox.ac.uk:5000/~vgg/research/affine/index.html

  这标志,当高斯差分函数的标准化为常系数区分开后,它就隐含了拉普拉斯准不变性要求的图片 14准标准化。等式中之系数(k-1)是装有标准的常数,因此不影响极值的位置。K越接近1,估计误差就愈加趋向于0,但是实行着我们发现估值对极值探测的安澜以及就是极致明白的规范差距之定位,如
图片 15差一点从未影响。

断点:仿射协变特征

  构建D(x,y,σ)的管事方式要图1所显示。初始图像及高斯函数递增地卷积形成图像,通过尺度空间的常系数k被分别,如左图的积的重叠。我们将尺度空间中的每个组(如σ的片倍增)分为整数,间距为s,所以图片 16。我们务必在每个组的积聚中起s+3帧模糊的图像才会得覆盖任何组的极值探测。临近的图像尺度相减便生了高斯差分图像,如右图所显示。一旦得了所有组的处理,我们就用σ代替初始值2σ(顶层的积中会发2轴图像)以每行每列的第二单如素对高斯图像进行再采样。相对于σ,采样的精度和第一个组没有距离,但计算量被杀十分程度达到地降落了。

概述:这个页面针对于肆意图片中探测仿射不转换特征的题材跟区域探测述子的属性评估。【应该就是是述子如何描述仿射不转移特征,以及述子性能好坏的评估】

图片 17

公开:

贪图1.
于每个尺度空间的组,初始图像和高斯函数多次卷积所得尺度空间如图像左边所示。相邻之高斯图像相减产生了右侧的差分高斯图像。每个组后,高斯图像为退采样2加倍,重复该过程。

  区域探测:

 3.1 片机制探测

http://www.robots.ox.ac.uk:5000/~vgg/research/affine/det\_eval\_files/mikolajczyk\_ijcv2004.pdf【尺度仿射兴趣点不变检测】

  为了探测到D(x,y,σ)的有的最特别价值和太小价,每个样本点都使跟它们时图像的八单邻居已经上下尺度上之各级九只近乎邻相比较(如图2)。只有在其比所有近邻大或者小时才会受挑。因为在前几乎次等检查着多数的样本点会叫破除,因此,这个检查的代价相对较小。

http://www.robots.ox.ac.uk:5000/~vgg/research/affine/det\_eval\_files/matas\_bmvc2002.pdf【最稳定极值区域】

图片 18

http://www.robots.ox.ac.uk:5000/~vgg/research/affine/det\_eval\_files/tuytelaars\_ijcv2004.pdf【基于仿射不变区域匹配广域分割场景】

祈求2.
在今日的准与邻近度(记为圆),通过以一个像素(记为叉)与该临近的3*3区域外的26单像从进行对照,得到高斯差分图像的不过可怜价值和太小值。

http://www.robots.ox.ac.uk:5000/~vgg/research/affine/det\_eval\_files/kadir04.pdf【放射不变显著区域检测】

      
确定图像及尺度空间中样本的频率非常重大,需要对极值进行保险地探测。不幸的凡,无法找到好探测到有极值的太小采样间隔,因为极值之间可以随便档次之近乎,无规律可依照。可以想像黑色背景上闹一个白色之旋,在尺度空间的不过深值处为周高斯差分函数区域之正中心,它跟宏观之轻重和职位匹配。对于一个被拉长之椭圆形,它的每个端点(end)都发出一个极致要命价值。最可怜价值的职位是一个图像的接连函数,对于那些中间为关长之椭圆形将发从一个极值到片独极值的连通,在连接中,极值会自由的接近彼此。

All Detectors – Survey: T. Tuytelaars and K.
Mikolajczyk ,
Local Invariant Feature Detectors – Survey. In CVG, 3(1):1-110,
2008.【学名是者,如果找到的话,求联系~~~】

      
因此,我们须下一个衡量效率与完整性的方案。实际上,正如我们所想,也被我们的实验所证实,相接近的极值对图像很粗的摄动是杀无安静之。我们好由此对好要命范围外采样频率之研讨和采取那些以配合任务的惟妙惟肖模拟遭遇提供了极保险结果(的多寡)来控制顶好的挑三拣四。

下一场这个第五单文献检索不交,希望高玩们得以协同拉找下

3.2 规范采样的效率

  区域描述:

图片 19

http://www.robots.ox.ac.uk:5000/~vgg/research/affine/det\_eval\_files/lowe\_ijcv2004.pdf【来自尺度不变关键点的独特图像特征】

贪图3.
先是轴图及亦然长线是重要点在同帧为转换的图像的平职务及标准化为再次探测的百分率,作为一个组采样的口径数的价。下面的那漫长线是关键点的描述子与大型数据库是匹配的百分率。第二帧图表示的是在相同轴典型图像遭到被探测到之关键点总数,以此作为规范采样的数值。

  性能评估:

  如图3及图4所示为采样频率所主宰的取极大值的长治久安实验。这些图(以及本文中的绝大多数拟)是冲一组32幅不同范围的真正图像的配合工作,图像包括外景、人脸、航空影像和工业图像(经研究发现图像域对结果无外影响)。每幅图像都经了同样文山会海之更换,包括旋转、缩放、仿射拉伸、明亮度对比度变和充实图像噪声。改变是汇总的,这样才生或准确地想初始图像的每个特征于转移后的图像遭到怎样展现,从而得以针对每个特征测量正确的重复率和岗位的准确性。 

http://www.robots.ox.ac.uk:5000/~vgg/research/affine/det\_eval\_files/vibes\_ijcv2004.pdf【仿射区域检测器们的对比】

图片 20

http://www.robots.ox.ac.uk:5000/~vgg/research/affine/det\_eval\_files/mikolajczyk\_pami2004.pdf【本地述子性能评估】

祈求4.
图中顶部的那漫长线呈现的凡首要点位置在转换的图像被受重复探测到的百分率,被用作针对每个组第一级优先图像平滑的函数。

软件:

  图3所著为用于检查在极值探测前采样的图像函数每个组尺度数变化的效力。在这情况下,每幅图像都经过随机角旋转和初步图像0.2-0.9倍之任性缩放,然后为再次采样。降分辨率图像的基本点点和初始图像进行匹配,因此所有关键点的格将受展现在匹配图像挨。另外,添加了1%之图像噪声,也就是说在[0,1]限外变化之如素值将吃随便添加一个于[-0.01,0.01]内当间距变化的肆意数字(相当给降低图像像素6比只有的准确度)。

  既没linux,也从不matlab 就不思量干了。。。

  图3丁之首行为要点于同一帧转换后图像进行匹配,位置与规格为探测到之百分率。本文中存有的例子,我们且将相当原则定义也正确规范的图片 21倍,匹配岗位也σ只如素以内,σ为关键点的法(定义也高斯差分函数着以的极致小高斯函数的标准差)。图备受下面的一条龙也使以来邻匹配法,与有40,000独关键点的重型数据库是匹配的要点数,详细经过在第六节讲述(这标志要点让再度定位对分辨及相当工作特别便于)。这幅图表示当每个组采样3单标准时,重复率最高,这为是本文中任何实验所使用的采样尺度数。

测试数据:

  采样的条件是未是越强重复率就越好,这或多或少可能于人口认为多少出乎意料。这是为以不少吃探测到之有些极值结果负,这些(尺度大之)结果稳定性较差,因此于转移图像中让探测到之几引领也不怕退了。可以由图3惨遭之次帧图览,关键点为探测出的平均数以及每幅图像被科学的匹配数。关键点数随采样尺度多而提高。由于目标识别成功为还多的凡赖让关键点正确匹配的数码,而休是它匹配的正确率,因此对多使用而言,选择于充分的尺度采样才是顶尖选项。然而,计算成本为会见跟着增大,因此本文中之试我们选择采取每个组3独采样尺度。

  下载一下就是足以了

  总而言之,这些试验表明高斯差分函数的尺度空间有诸多之极值,但是完全的探测到它成本大高。幸运的是,我们一味使有较充分之采样尺度就可探测到非常多发生因此要平安之子集。

 

3.3 空间域采样的频率

imgfeatures.c 就是一些落实之历程。

      
我们正决定尺度空间每组的采样频率,接下去要规定及平尺度相关的图像域中的采样频率。极值可能随便档次达之近乎彼此,这里发出一个接近的积采样频率与探测率的权衡。图4所显示为预先平滑函数的裁定实验,应用为立每个组的尺度空间代表前。同样,图中顶部的那么长长的线意味着要点探测的重复率,结果显示重复率随σ的增大如增大。然而,使用特别之σ对效率有影响,所以我们选用σ=1.6来落实类似最佳的结果。这个价值在本文中(包括图3遭之结果)被大以。

 

      
当然,如果我们于极值探测前对图像进行预平滑处理,我们虽立竿见影地去了高高的的空间频率。这样,要充分利用输入,相比起图像,图像可以让扩张来取更多的采样点。在树金字塔第一交汇之前,我们应用线性插值使输入图像的大小加倍。对老图像使用亚像素补偿滤波可以使得的齐运算,但图像加倍的落实更使得。我们要原始图像来起码σ=0.5底混淆(防止显著混淆现象之极小值),因此相对新的像素空间,加倍的图像发σ=1.0。这代表在创造第一组的尺度空间前,增加小量的坦是少不了的。图像加倍使稳定的严重性点数增加了临近4加倍,但运用还特别的扩张系数没有再次明了的增进。

接下来看下sift.h这个里面的东西呢够呛简单,忽然觉得这些东西发生点儿像java里面的public函数。.c里面的倒都比较像private函数只能它里面用。

 

扣押下sift.h 里面都起啊

4. 精确的重大点定位

无异于不胜堆变量的扬言和个别只函数

  完成了像素和该邻居的于就可拿走关键点的候选值,下同样步就是是形成附近数据位置、尺度与主曲率的精工细作配置(fit)。这个消息要低对比度的接触(对噪声敏感)或稳定在边角的险吃裁。

extern int sift_features(IplImage* img, struct feature** feat);

extern int _sift_features(IplImage* img, struct feature** feat, int intvls,
double sigma, double contr_thr, int curv_thr,
int img_dbl, int descr_width, int descr_hist_bins);

是主意的初步(Lowe,1999)简单地实现了要害点定位于中心样本点的位置与准。然而,Brown最近改进了是方式(Brown和Lowe,2002)。通过有些样本点的老三维二不行方程配置来决定顶充分价值的插值位置。他的实验表明这等同更上一层楼非常挺程度地增进了配合同平稳。他的方式对尺度空间方程D(x,y,σ)使用了泰勒级数展开(到二阶)变换,把样本点作为原点。

而且好像在后头要调用的干,毕竟有限独之讳怪相似。然后点点点的意识,就是调用的和一个函数。

图片 22                                                                                                                                                                            
 (2)

据此sift的星星独文件,就是之所以来找到sift特征点的。不过如果怎么找寻呢。接下来可能将看这函数的情了。

  其中D和它们的导数是样本点的估值,而图片 23呢就或多或少之上。通过对函数求关于x的偏导并使为零星获得极值的岗位

int _sift_features(IplImage* img, struct feature** feat, int intvls,
    double sigma, double contr_thr, int curv_thr,
    int img_dbl, int descr_width, int descr_hist_bins)
{
    IplImage* init_img;
    IplImage*** gauss_pyr, *** dog_pyr;
    CvMemStorage* storage;
    CvSeq* features;
    int octvs, i, n = 0;

    /* check arguments */
    if (!img)
        fatal_error("NULL pointer error, %s, line %d", __FILE__, __LINE__);

    if (!feat)
        fatal_error("NULL pointer error, %s, line %d", __FILE__, __LINE__);

    /* build scale space pyramid; smallest dimension of top level is ~4 pixels */
    init_img = create_init_img(img, img_dbl, sigma);
    octvs = log(MIN(init_img->width, init_img->height)) / log(2) - 2;
    gauss_pyr = build_gauss_pyr(init_img, octvs, intvls, sigma);
    dog_pyr = build_dog_pyr(gauss_pyr, octvs, intvls);

    storage = cvCreateMemStorage(0);
    features = scale_space_extrema(dog_pyr, octvs, intvls, contr_thr,
        curv_thr, storage);
    calc_feature_scales(features, sigma, intvls);
    if (img_dbl)
        adjust_for_img_dbl(features);
    calc_feature_oris(features, gauss_pyr);
    compute_descriptors(features, gauss_pyr, descr_width, descr_hist_bins);

    /* sort features by decreasing scale and move from CvSeq to array */
    cvSeqSort(features, (CvCmpFunc)feature_cmp, NULL);
    n = features->total;
    *feat = calloc(n, sizeof(struct feature));
    *feat = cvCvtSeqToArray(features, *feat, CV_WHOLE_SEQ);
    for (i = 0; i < n; i++)
    {
        free((*feat)[i].feature_data);
        (*feat)[i].feature_data = NULL;
    }

    cvReleaseMemStorage(&storage);
    cvReleaseImage(&init_img);
    release_pyr(&gauss_pyr, octvs, intvls + 3);
    release_pyr(&dog_pyr, octvs, intvls + 2);
    return n;
}

图片 24

 

  如Brown建议之,Hessian法和对D求导都是对附近样本点使用差分来呼吁估计值的。可以在最好小的基金下得3*3底线性系统的结果。如果图片 25在其他维度的上过0.5,就象征极值与另一个样本点更为接近。这时,样本点改变,并展开插值取代该点。最终之补偿值图片 26加到样本点的职位上来得到极值位置的插值估计值。

  极值处的函数值图片 27针对脱低对比度的莫安宁极值非常管用。这个得通过用公式(3)代替(2)得到。

图片 28 

  对于本文中之试行来说,所有极值的图片 29低于0.03之都设给免(如前方使,我们只要图像像素值在[0,1]的界定外)。

  图5所著为以自图像及进展重要点选的结果。为了防太多的聚类,我们使用了一个233*189如从的低分辨率图像,关键点给展现为矢量形式,给出了每个关键点的职位、尺度与自由化(方向的指定见下文)。图5(a)所示为老图像,后面的图像对那个进行了降对比度。图5(b)所示为高斯差分函数探测到的有所最可怜价值与极其小值。而(c)所示为除去图片 30价值仅次于0.03所遗留的729独重点点,(d)部分将以后的回中介绍。 图片 31

希冀5.
本图表示的凡首要点选择的号。(a)233*189个像从的初步图像。(b)高斯差分公式最可怜价值和极小值确定有的832只根本点位置,关键点于显示也矢量形式,表示原则,方向和职位。(c)对最小值对比设置临界值后,还余下729独重要点。(d)附加一个主曲率极限后,最终剩下的536单第一点。

4.1  排除角反射

  对平安而言,只去除低对比度的关键点是不够的。即便于边缘处的触及具备老不同之决策性并且对老有点的噪音很不安定,高斯差分函数也会产生不行强的反响。高斯差分函数惨遭一个概念不好的峰值将会晤针对边缘处产生大要命的主曲率,而在笔直方向上发出非常粗的主曲率。主曲率可以经过一个2*2之Hessian矩阵来计算。H在关键点的岗位和标准化上。

图片 32

                                                                                                                                                           
(4)

  通过对邻居样本点的差分来估算导数值。

  H的特征值与D的主曲率成比例。借用Harris和Stephens(1988)的法子,我们得以肯定地避免特征值的盘算,而就关心它的比率。设α为无限可怜量级的特色值,而β为最小量级的。然后我们得以经过求H的印痕来获得特征值的及,从行列式获得它们的积:

 图片 33 

      
行列式不可能吗因,曲率符号不同时,点未呢极其值,舍去。设r为极端深量级特征值和极端小特征值之比较。所以α=rβ。接下来,

图片 34

  只在乎特征值的比而不是它们分别的值。当半单特征值相等时,(r+1)2/r最小,并随r的增而充实。因此,要拘留主曲率是否低于某个极限,我们仅需要检讨: 图片 35

  这个匡好高效,当对每个重要点只是待进行小于20不成的浮点运算检测。本文中的试用的r值为10,这意味当根本点于主曲率间的比值大于10。图5被(c)到(d)的易即为这运算的结果。

 

5. 定向任务

  通过有些图像属性被每个关键点指定一个之主旋律,关键点描述子可以和这方向相关,从而实现图像旋转的不变性。这个法子及Schmid和Mohr(1997)的不二法门相比,他们之每个图像属性都是根据一个旋转不变换的测。他们方法的短就是是其界定了可用之描述子,并以尚未要求具备测量都根据一个一样的团团转而不见了图像信息。

  下面的试验应用了不少艺术来指定局部方向,下面的艺术吧找到最多稳定结果的。关键点的极是故来选条件最相仿的高斯平滑图像L的,这样有着的计量都是在一个谱不移条件下进展的。对于每个图像样本L(x,y),在斯规格下,梯度量级m(x,y)和大势θ(x,y)是因此像素差预计算出来的:

图片 36

   一个势头直方图是因此要点周围区域的样本点的梯度方向组成的。方向直方图有36独支柱,覆盖360度方位角。每个加到直方图的样本都为它的梯度量级定权,再被该处关键点原则1.5倍之σ的高斯圆形窗口定权。

  方向直方图的峰值与部分梯度的主方向相呼应。直方图中之万丈峰值首先让探测到,然后是占最高峰80%上述之部分峰值为会以拖欠方向建立一个着重点。因此,对于发出差不多只一般量级的职,可以当该岗位及极创建多个不等于的要紧点。只发15%底点会被指定多只趋势,但她对郎才女貌的安静意义特别老。最后,得到一个和3个直方图值配准(fit)的过每个峰值最相近的双重规范峰位的插值抛物线。

  图6所展示为当不同数量的图像噪声下,位置、尺度与自由化指定的试验稳定性。如前,图像让任意地打转缩放过。顶端的线为首要点位置以及法指定的安静。第二修线为当方向指定在15度以内的相当稳定性。上面两长达线期间的歧异可以看来,即使加了10%之像素噪声。方向指定保留了时间95%底准头(相当给相机来小于3较就的准确度)。正确匹配的矛头量测变化呢25渡过左右,当起10%的噪音时,升也3.9度。图6最为下面一久线为一个至关重要点描述子与一个生出40,000个关键点的数据库匹配正确的末尾准确率(下文讨论)。如图所示,SIFT特征对大气底像素噪声具有抵抗性,而不当的基本点由在始发位置以及原则的探测。

图片 37

贪图6.
图中顶行显示的百分率为像从噪声的函数,是只是又检测的关键点的职位与法。第二履显示的凡下的重复率,同样要求方向同样。最下一行也终极和大型数据库是匹配的描述子的百分率。

 

6. 片段图像描述子

  之前的操作就指定了图像的职位,尺度与每个关键点的大势。这些参数定义(impose)了一个可是重新的有二维坐标体系,可以当其间定义有图像区域,从而也这些参数提供无变式。下一样步就是是吧有图像区域计算描述子,它如果怪鲜明,同时对于剩余的转尽可能的保持不变性,如光照或三维视点的更改。

  一个显著的艺术就是于适龄的条件的重要点周围的有图像亮度进行采样,使用归一化的相关方法进行匹配。然而,简单的图像块的相关性对转移很快,,从而导致样本的误匹配,如仿射变化或者三维视点变化或者非刚性变形。Edelman等丁于1997年提出了一个双重好的章程。他们提出的方是基于生物视觉的,尤其是主视觉皮层中复杂的神经细胞。这些复杂的神经细胞对某方向及空间频率的梯度转移影响,但梯度在收看网膜上的职也是于一个得以承受之限定(field)内转移而休是精确地稳定。Edelman等人口假而这些纷繁神经细胞的函数使得我们开展匹配与得视点范围外三维目标的辨别。他们展示了详尽的试,通过三维计算机目标及动物造型的模子表明以同意位置别下的配合梯度比在三维旋转下之归类结果一旦好得多。(They
have performed de-tailed experiments using 3D computer models of object
and animal shapes which show that matching gradients while allowing for
shifts in their position results in much better classification under 3D
rotation.)比如说,在以复杂的细胞模型后,三维目标在20度观充分下转的识别准确率由35%之梯度相关性升为94%。我们的脚的行正是为者思想的开导,但以的是别一样种计算机制来允许位置变动。 图片 38

图7.
要是创一个重要点描述子首先要计算关键点位置紧邻区域之每个图像样本点的梯度大小及自由化,如左图所示。它们由高斯窗口定权,由重叠的环代表。然后如果右图所展示,将这些样本聚集为方向直方图,每4*4单分支区域包括为一个。这里的每个箭头的长都为该区域外是方向附近梯度模值的总和相对应。图被所显示之2*2之描述子箭头就是出于8*8底样本集计算出来的,本文所运用的凡由16*16底样书集中计算出来的4*4的描述子。

6.1 描述子表达

  图7表明要点描述子的测算。首先,图像的梯度量级和大势是于重中之重点周围的采样,使用关键点的法来摘取图像高斯模糊的档次。为了达成方向不变性,我们描述子的坐标和梯度方向都是本关键点方向拓展盘的。为了高效性,如第五段中所关联的,金字塔中有所等级的梯度都吃事先计算出来了。在图7的左侧,它们以每个样本位置处于因多少箭头标出。

  σ为描述子窗口宽度1.5倍之高斯定权公式用来指定每个样本点的权。这个只要图7左的周窗口所示,使得权重可以平滑的弱化。高斯窗口的目的是为着防范描述子在窗口岗位来轻微变化下的剧变,给远离描述子中心的梯度更不见的体贴,这些梯度对误匹配影响最特别。

  关键点描述子如图7下手所示。它通过在4*4之范本区域建立方向直方图让梯度位置好有比较充分的别。每个方向直方图有八只方向,每个箭头的尺寸以及该直方图输入的量级有关。一个左方的梯度样本可以变成四只样本位置,并通往右侧边的直方图输出值,从而实现了重复不行之一对岗位别的目的。

  当描述子在打一个直方图及任何一个直方图或打一个方向平地转换向其它一个势头时发生突变,防止有的边缘影响格外重点。因此,三线性插值用来给每个梯度样本向邻近的箱(柱子)内分配值。换句话说,就是每个箱被的输入还是乘了了1-d各个方向的权值的,其中d为以直方图各柱子之间的半空中也单位测量的样本交中心柱子的距离值。

  描述子由保存有矛头直方图的值得矢量得到,对诺让图7右手边图备受箭头的尺寸。图像显示了一个2*2阵列的样子直方图,而我们下的试表明每个方框里来八独方向的4*4阵列的直方图所得结果最精彩。因此,本文所用之啊每个重要点起4*4*8=128个因素特征矢量的。

  最终,为了减弱光本转之震慑,特征矢量被改。首先,矢量被准为单位长度。对图像对比度的改观就是是摆每个像素值乘以一个常数,这样一切梯度也会见趁及同一个常数,这种对比度变化会吃矢量归一化抵消掉。亮度变化中图像里之每个像素都会加一个常数,这不见面影响及梯度值,因为梯度值是诸如素值之异。因此,描述子对于光照的仿射变化是拥有无变性的。然而,非线性光照变化为说不定是由于相机饱和度或光照变化影响了不同数量不等方向的老三维表面。这些影响可能会见招一部分梯度相关量级的巨大变化,但对梯度方向影响十分粗。因此,我们减少用每个单位特征矢量不超出0.2之是范围对充分之梯度量级的震慑,然后针对单位长度进行再归一化。这意味着匹配大梯度量级不再是如出一辙起重大的从,而越是强调方向的分布。值0.2凡经图像对同样的老三维目标保留不同光照的试行获得的。

6.2 描述子测试

  有有限单参数可吃用吧扭转描述子的复杂度:在直方图被的取向数r和n*n方位直方图阵列的宽n。最终描述子矢量的分寸为图片 39。当描述子的复杂度增加时,在巨型数据库中之区分度更好,但它对貌畸变和堵塞也愈发灵活。

图片 40

 图8.
本图描述的呢宽为n*n的要紧点描述子以及每个直方图方向数的函数,是任重而道远点以及数据库被40,000单关键点正确匹配的百分率。

  图8所著之试结果,其中方向数与描述子大小为浮动的。图是故一个视点变换得到的,其中平面相比观察者倾斜了50过,并加加了4%底噪声。这看似了可靠匹配的终极,也是于这种越来越困难的场面下,描述子的表现才更为重要。结果也以40,000个关键点的数据库在找到正确匹配的近年邻单点之主要点百分数。图被显示所得,单个方向的直方图(n=1)的区分度很不同,但增加直至一个4*4阵列的八样子直方图的进程被结果直接于改善。这之后,再搭趋势要加大描述子只针对郎才女貌造成了震慑,使得描述子对畸变更加的灵巧。在其他意见角度变化与噪声情况下,结果是相似的。尽管在有大概的场面下,区分度过(从最高级)继续增长直至5*5及重复胜的描述子大小。但咱以本文中按使4*4底8方向描述子,可生128维的特色矢量。尽管描述子的维数好像特别高,但我们发现及时当平等系列匹配任务中较没有维度表现又好,而且相当的测算成本在采取如下介绍的接近的近年邻方法中呢坏没有。

6.3 仿射变化敏感度

图片 41

 图9.
本图所示为重要点位置、方向与尾声与数据库匹配的探测的安定团结度,作为仿射变换的一个函数。仿射变换的档次是因为平面内同组等视点景充分旋转来代表。

  描述子对仿射变化之敏感度如图9所著。图中所示为重中之重点位置以及法选择、方向分配和与一个跟远离观察者的平面中开展深旋转函数的数据库进行最近紧邻匹配的可靠性。可以看出,每个计算等受到,随着仿射畸变的增,重复率的回落,但当最后,对于一个视点变化50过时,匹配的准确度仍是维持以50%之上。

  为了兑现大视点角情况下可靠的相当,如第二节所摆,可以使相同种植仿射不换的探测器来针对图像区域展开分选以及重采样。那里提到,由于这些艺术还是起源于一个非仿射不更换的图像的开特征位置,所以她并无具有真正的仿射不变性。在羁押起最为具仿射不变性的计被,Mikolajczyk(2002)对Harris仿射探测器假设并施行了详细的尝试。他发现,它的重要点重复率比这里叫出底50度过的视点角要小,但在角度也70度时,保持在相近40%之重复率上,在极值仿射变换中表现还好。缺点是精打细算本金高,关键点多少少以及于噪音下设定一致仿射变换框架误差对小的仿射变换稳定性差。实际上,三维目标允许的限制是远点儿对平面的,所以仿射不变性在相当视点变化时连无是限制因素。如果要求很范围之仿射不变性,如要求表面也面,那么一个简的解决方案就是错过动Pritchard和Heidrich(2003)的不二法门,生成由训练图像的4仿射变换的版本及60度视点的变迁之附加SIFT特征。这使业内SIFT特征的采用以图像识别处理面临无多新的演算成本,但以要素为3之性状数据库的高低增加了。

6.4 和大型数据库匹配

图片 42

祈求10.
虚线表明要点与数据库是匹配的百分率,为数据库大小的一个函数(使用对数尺度)。实线为重中之重点分配是的职、尺度和方向。图像发擅自尺度与旋转变换,30°的仿射变换和2%底图像噪声被优先在匹配中。

  一个测特征鲜明性的基本点遗留问题是相当重复率如何当一个配合数据库中之特性数之函数变化。本文中大部分之例证是以一个32轴图像,40,000单关键点的数据库而变化的。图10所示匹配重复率如何当一个数据库大小的函数变化的。这幅图像是采取一个又可怜的产生112帧图像的数据库生成的,视点转深度也30过,添加了2%的噪声,图像进行了随机地法变化和旋转。

  虚线表明数据库中因近年来邻为正确匹配的图像特点的有些,它当数据库大小的函数以对数的样式显得出。最左端的接触是同由同样摆图像被收获的特性进行匹配而太右侧端的触发是起含有112轴图像的数据库的享有特征被选择的配合。可以看到匹配的可靠性在盖扰乱项数据也函数时下降了,而有的显得表明以重充分之数据库大小下重多的不利匹配将连续吃找到。

  实线为要点在换图像的不错匹配的岗位及大势为识别的百分率,所以只有这些点在数据库被有时机发出配合的描述子。这漫漫线和(flat)的因由是测试在所有数据库中运作了每个值,但但改变了数据库中一部分用来捣乱的片段。有趣之是,两修线期间的间距很有些,表明配合失败更多之凡坐开始特征定位和可行性分配的题材,而休是特点鲜明性的题目,而不是重型数据库大小的问题。

7. 对象识别的施用

  如齐所示,本文主要讨论的凡明白不变性关键点的派生。为了展示她的使,我们给来其当对象遮挡和聚类情况下展开分辨的下。更多关于这些特色的辨识应用参见其它文献(Lowe,1999;Se等人,2002)。

  目标识别首先使以每个重要点独立的及自训练图像遭到领到的要点开展匹配。由于模糊的特性与自背景聚类中拿走的特色,很多这些前期的相当是勿正确的。因此,首先识别那些与一个目标还是该姿态一致的足足有三单特点的聚类,因为他们比那些单身特征来重复胜的或者为正确匹配。接下来,通过执行一个跟范合适的精密几哪来检查每个聚类,并认清结果,决定采纳或放弃解译。

7.1至关重要点配合

  通过在由训练图像得到的重点点数据库被分辨最近紧邻,我们找到了每个关键点的超级候选匹配。如第六段所陈述,最近邻定义为每个关键点的免转换描述子矢量之间的极其缺乏欧氏距离。

  然而,图像被的居多特点与教练数据库可能没有其它不利的相当,因为其是于背景聚类中提出的要么尚未在训练图像中吃探测到。因此,有平等栽办法来废弃与数据库没有很好地兼容的特色十分有因此。对近年来距特征的全局限值执行之并无尽如人意,因为部分描述子比其他的如果强烈很多。更使得之措施是使用以来离开和次近距离的比率。如果来同等目标的浩大教练图像时,我们定义及第一个来源不同目标的次近距离吗近日偏离,就如以含有不同目标的都知晓图像一样。这个点子执行好好,因为不易匹配需要最近附近显著地接近那些最相仿的错匹配来达到可靠性匹配。对于错误的配合,由于特性空间的大维度,相似距离外会来众多其他的不当匹配。我们可将软走近距离匹配作为对特色空间的即时同一有的错误匹配密度之一个估算连还要识别特征未明确的新鲜实例。

图片 43

图11.
配合的没错可由于距离比率决定,即用最近邻距离除以次近邻的离得到。使用一个有40,000独关键点的数据库,实线显示的啊正确匹配距离比率的概率密度函数,而点线为左的概率密度函数。

  图11标志用这种方法对实际图像数据的测量值。正确和免科学匹配的可能性密度函数以每个重要点以来附近与糟糕近邻之比较表示。最近邻为正确匹配的概率密度函数的中心于错误匹配的比值低多。对于我们的目标识别的执行,我们抛开那些距离比值大于0.8的匹配,这样好以就丢弃5%之不利匹配的前提下,减少90%底荒谬匹配。图像是当一个40,000拉键点的数据库中,以自由尺度和趋势转变下匹配图像生成的,旋转深度为30过,添加了2%的噪声。

7.2 有效的近年邻函数

  没有一个本算法可以当辨别高维空间点的准确最近去时优于穷搜索法(exhaustive
search)。我们的重要点描述子有128维的表征矢量,而最为好之算法,如k-d树(Friedman等丁,1977年)也无力回天以多于10维的空中受到提供比穷搜索法更高效的性能。因此,我们用了一致栽恍若的算法,叫做最优盒优先(BBF)算法(Beis和Lowe,1997)。这是在场景被近乎的归具有高可能的近年附近。

  BBF算法使用了平栽k-d树算法的改善算法,使得特征空间被的箱是盖其当队位置被最为的临距离的依次为寻找。这种先顺序最早是由Arya和Mount(1993)实践的,他们当Arya等人口(1998)的文献中针对那个计算性能提供了重新进一步的钻研。这个搜索顺序要求下相同种植基于堆优先的序列来落实搜索顺序的高速决策。在寻觅了特定量的近年箱后,中断进一步的寻找可以没有计算本金的回一个类似结果。在咱们的落实着,我们在检讨了极度开始之200只最近邻候选值后,中断了找。对于一个闹100,000独关键点的数据库,它比准之近期附近搜索加速了盖少单数据级,而对匹配的结果只损失了无至5%。BBF算法运行如此美好的一个原因是咱们只是考虑了近来紧邻比次近邻小于0.8里头的这些匹配(如前章节中涉嫌的),因此无需考虑那些很多乡邻距离颇相近的困难情况。

7.3 霍夫变换的聚类

  对小若高度遮挡的目标识别实现最大化,我们期望为极其少之或许的特点匹配数进行目标识别。我们发现于至少使用3只特色的情事下可靠识别是可能的。一个有着2,000个或还多特点的超人图像可能会见发生成千上万异之靶子及聚类背景。而第七段中所陈述之距离比率实验允许我们从聚类背景被丢掉大量底错匹配,而立并无减其他有效目标的配合。通常,我们随急需打含有99%怪值的匹配中找到那片1%之健康值识别正确的子集。很多家喻户晓的庄重地布局(fitting)方法,如RANSAC或极小平方中值,在正常值小于50%不时运算结果虽会异常不同。幸运的凡,在态度(pose)空间应用Hough转换(Hough,1962;Ballard,1981;Grimson,1990)的聚类特征可以充分好的表现。

  霍夫转换通过每个特征跟所有目标中特征一致的姿态进行投票通过(vote
for)的一致性解译来鉴别聚类。当发现特征聚类与一个对象投票通过了同一姿态,这种解译正确的可能比较其余单一特征要后来居上多。我们的每个重要点都产生4只参数:二维位置,尺度和动向,而数据库被每个匹配的首要点都生这个重大点和找到的训图像相关联的笔录。因此,我们可建立一个霍夫变换,由相当配假设输入预计的范位置,方向和条件。这个预测有甚老之误差界限,因为当时四独参数的貌似变换只是一个三维目标全六自由度的态势空间的估计价值,并且没有举行另外非刚性的转换。因此,我们30过势的宽箱大小,2元素的基准与投影训练图像位置维数(使用预计的准绳)最大值的0.25加倍。为了以防万一边界效应在箱指定中的题材,每个重点点配合在每个维度中还指定(vote
for)了简单单最近的箱子,这个只要共有16只输入,姿态范围扩宽更多。

  以大多数霍夫转换的落实着,用几近维阵列来表现箱。然而,很多隐秘的箱保持为空,由于她共有的借助,很不便计算箱值可能的界定(比如说,选择范围上或许的职位去散值的依靠)。这些题材可经过下箱值的伪随机散列函数向一维散列表中插投票(votes),从而得以简简单单的探测到闯。

 7.4 仿射参数的化解方法

  霍夫转换是为此来认识别箱中最少发生三单实体的持有聚类。每一个如此的聚类都设进来一个用最小二乘法来测算和训练图像为新图像转换有关的极品的仿射投影参数的几何验证程序。

  于正射投影下,仿射变换可以对求解(account
for)一个面的老三维旋转,但对非平面的对象的老三维旋转估值就颇不同了。更广大的办法是割除基础矩阵(Luong和Faugeras,1996;Hartley和Zisserman,2000)。然而,与仿射法只待3只点配合相比,一个基础矩阵式要求至少7个,而实际上中,为了还好的泰,需要再次多之相当。我们盼望就所以三独性状匹配就好辨认,因此仿射变换就提供了一个异常好的起始点,我们得以经过将允许的残差值增大来算(account
for)仿射估计吃之误差。想象在靶周围放了一个球形,然后以球形旋转30度,球内的任意点不见面动超过球形投影直径的0.25倍增。对于本文中的一个独立三维目标的例证,在咱们允许残差不浮目标投影维数的极其深价值的0.25加倍时,仿射方法可死好地解决问题。Brown和Lowe(2002)提出了一如既往种植更广阔的计,初值由一般变换得到,然后计算都找到足够匹配数的功底矩阵。

  模型点图片 44对图像图片 45的仿射变换可以吃勾勒啊:

图片 46  其中,图片 47也模型变换,而mi参数表示仿射旋转、缩放和拉伸。

  我们盼望解出变换参数,因此,上式可以让再度写啊将未知量变为列向量的款型:

图片 48

  这个等式表示的凡一个单身的配合,但足添加后续匹配的数值,每个匹配都如在首先只和尾声一个矩阵中加以少履。要排这个姿势,至少要三针对性郎才女貌。

  我们好把这线性系统写吧:

图片 49

  参数x的最为小二趁法可以经过解除对应之法方程得到,

图片 50

  它也影子模型的职务及图像位置的偏离平方和的绝小价。这个最小二乘法可以扩展来化解铰接的灵敏的靶子的老三维姿态与里面参数(Lowe,1991)。

  通过检查每个图像特点和模型中的一致度就足以移除异常值。有矣逾规范之极致小二趁法,我们要求每个匹配要于霍夫转换箱(bin)中之参数的误差一半底界定以内。如果排除异常值后少三单点,则这次匹配失败。当排异常值后,要为此最为小二乘法再次计算留下的触发,依次迭代下去。另外,自上而下的开展相位(phase)是为增加与阴影模型位置一致的配合。可能会见当霍夫转换箱时少的一对郎才女貌是由于换的相似性或其它错误。

  最后是否接受之要取决于之前文章中提到了之鬼斧神工概率模型(Lowe,2001)。这个艺术首先用来以受闹模型的黑影大小,区域受到的特征数与布局(fit)的准确度的动静下,解决模型姿态的荒唐匹配期望数。贝叶斯分析为闹了目标基于实际找到的相当特征于展现出来的可能性。如果最后对解译出之可能大于0.98,我们虽接到这模型。对于影子至图像很有点之区域之情事,3独特性就是够用进行保险地辨认了。对于纹理比较多的大规模目标,错误匹配的愿意值比较高,可能会见要是独特点匹配这么多。

 

8. 鉴别实例

  图12所示为一个自包含三维目标的聚类遮挡图像被展开目标识别的事例。如左图所示,测试图像为一个玩具火车和青蛙。中图(大小也600*480诸如从)为含有让挡住的测试对象,并起大量聚类背景的图。因此,即使是人眼也非常麻烦就发现。右图所示为末段对识别后叠加在一个降对比度版本下之图像。用于识别的根本点来得也小方形,有同样修线来指示方向。方形的尺寸与用于构建描述子的图像区域对应。在每个识别目标的以外有一个外包的平行四边形,它的边界是测试图像于甄别过程中当仿射变换下的黑影。

  另一个秘密的主意运用是岗位识别,这样走的车子和设备就是足以经过辨认熟悉的职来确定位置了。图13让来了是用的一个例,其中训练图像是自面貌被众地方拍照的。如左上图所示,这些目标看起还不顶显眼,如木墙或是垃圾桶旁的培育。而右手上的测试图像(大小为640*315如从)是以开始图像场景旋转30度后底视点拍摄的,但是,训练图像还是要命轻之为找到了。

  识别的漫天经过还让火速到位,所以图12及图13的富有目标在同等宝2GHz之奔腾4处理器上之辨别总用时少0.3秒。我们当平贵笔记本及之所以同尊拍摄照相机实施该算法,并在强环境下周边的测试了她。一般的话,有纹理的面在受盘50渡过以内,在供做足光亮的或非是超负荷强烈的几乎任何光照条件下,都好吃保险地分辨。对于三维目标,可靠识别的随意向纵深旋转范围只发30度,而光照变化的干扰性也再度引人注目。因此,三维目标的辨认最好是自从多视角的综合性状入手,如有的特征视角聚类法(Lowe,2002)。

  这些关键点还吃用于解决机器人定位与制图的题目,这个当旁文章被发出详实的阐发(Se等人口,2001)。在斯以被,一个三目的立体系统受用来决定要点铁定的老三维估计决策。关键点只有以起于三帧图像遭到,并起平等的不同性时才于采取,这样好保证出现于少之大值。机器人移动时,它通过和存活的三维地图进行特色匹配来规定好的职务,然后以创新她的老三维位置时,使用卡尔曼滤波来递增地于地图添加特色。这也机器人在一个职环境遭受固定提供了同等种植具有鲁棒性和准确性的化解方案。这项工作还处理了位置识别的题材,这样,机器人可以于同样帧大型地图中让移到可辨认自己之岗位的状态(Se等人口,2002),相当给目标识别的老三维实现。

图片 51

祈求12.
左图所示为简单靶的测试图。它们可以当大量遮挡的聚类图片中为辨认出来,见被图。识别结果呈现右手图。每个识别目标周围还写出一个平行四边形来显示初始测试图像的鄂,识别过程遭到化解了仿射变换问题。小方形为用于进行分辨的第一点。 

图片 52

 图13.
这个例子表明以错综复杂气象被的职位识别。用于固定的测试图像也左上方640*315如从的图像,是于右边上比赛图像的例外见解拍之。识别区域要下图所出示,小之方形为识别的严重性点,外围的平行四边形为仿射变换后开测试图像的边界。

 

9. 结论

  本文中所陈述之SIFT关键点于其的鲜明性方面更是突出,可以是重点点以及大型数据库被的其他重要点进行对的配合。这同样鲜明性由装配于图像的局部区域外代表图像梯度高维的矢量来落实。关键点对图像旋转具有无变性,对充分标准之仿射变形有鲁棒性。从突出图像被得以取大量之严重性点,从而使在混合背景下取小目标有双重好之鲁棒性。可以打全体尺度范围提取关键点意味着小之有的特征可以跟略微若高度遮挡的对象进行匹配,而充分之显要点则当图像噪音和歪曲时有了再次好之展现。它们的测算是迅速的,在标配的PC机上,几千只举足轻重点得为近实时的从突出图像被提出。

  本文还提出了扳平栽用要点进行目标识别的计。这种方法运用了近乎的近邻查找,用来分辨以及目标姿态一致的聚类的Hough变换和极端小二乘胜法进行最后之裁决以及按。另一个或者的利用是三维重建、运动跟踪及分叉、机器人定位、图像全景集合(assembly)、对极(epipolar)配准和另急需进行图像间匹配位置识别的视角匹配。

  对于图像特点的不变性和鲜明性,未来底钻可以由产生多方向。全三维视点和光照变化数据点集需要展开系统的测试。本文所陈述特征只以了单色亮度的图像,因此,进一步的鲜明性可以于光照不转移的水彩描述子中查获(Funt
and Finlayson, 1995; Brown and Lowe,
2002)。同样,局部纹理测量在人类视觉中为具关键作用,合并在描述子中晚,可以于当下是由单个空间频率进行研究的描述子更具备广阔的款式。局部特征未变量匹配方法一个引发人口之地方在此无需选择一个特性类型,因为太好的结果往往是行使多不同特色得到的,因此,本办法可贡献给博中之相当并增强整体的鲁棒性。

  另一个前途的钻方向是研究得辨认的目标分类的表征。这对准类属目标更进一步关键,分类必须包含有可能的外形,这是一个伟大的限制。Weber等丁之研讨(2000)和Fergus等人口的研究(2003)显示通过上小型数据集的可识别目标类属的组成部分特征,这种方式来落实之可能。从长久角度来拘禁,特征集应该包含优先的(prior)和博雅的(learned)特征,这些特征将基于对大气目标分来有效之训多少的数量来使用。

致谢

  我要是尤其感谢Matthew
Brown,他本着本文在内容与发挥上受了自我不少更上一层楼之提议,而异本身于特点定位与免变性上之干活也针对本方法来贡献。另外,我思念谢谢大家宝贵的建议,他们是Stephen
Se,Jim Little,Krystian Mikolajczyk,Cordelia Schmid,Tony
Lindeberg和Andrew
Zisserman。这个研究是由于加拿大国家科学工程研究协会(NSERC)、机器人学与智能体系协会(IRIS)和Excellence网络中心支持好的。

 

参考文献

Arya, S. and Mount, D.M. 1993. Approximate nearest neighbor queries in
fixed dimensions. In Fourth Annual ACM-SIAM Symposium on Discrete
Algorithms (SODA’93),
pp. 271–280.

Arya, S., Mount, D.M., Netanyahu, N.S., Silverman, R., and Wu, A.Y.

  1. An optimal algorithm for approximate nearest neighbor searching.
    Journal of the ACM, 45:891–923.

Ballard, D.H. 1981. Generalizing the Hough transform to detect arbitrary
patterns. Pattern Recognition, 13(2):111–122.

Basri, R. and Jacobs, D.W. 1997. Recognition using region
correspondences. International Journal of Computer Vision,
25(2):145–166.

Baumberg, A. 2000. Reliable feature matching across widely separated
views. In Conference on Computer Vision and Pattern Recognition,
Hilton Head, South Carolina, pp. 774–781.

Beis, J. and Lowe, D.G. 1997. Shape indexing using approximate
nearest-neighbour search in high-dimensional spaces. In Conference on
Computer Vision and Pattern Recognition
, Puerto Rico, pp. 1000–1006.

Brown, M. and Lowe, D.G. 2002. Invariant features from interest point
groups. In British Machine Vision Conference, Cardiff, Wales, pp.
656–665.

Carneiro, G. and Jepson, A.D. 2002. Phase-based local features. In
European Conference on Computer Vision (ECCV), Copenhagen, Denmark,
pp. 282–296.

Crowley, J.L. and Parker, A.C. 1984. A representation for shape based on
peaks and ridges in the difference of low-pass transform. IEEE Trans.
on Pattern Analysis and Machine Intelligence
, 6(2):156– 170.

Edelman, S., Intrator, N., and Poggio, T. 1997. Complex cells and object
recognition. Unpublished manuscript:

http://kybele.psych.cornell.edu/ ∼edelman/archive.html

Fergus, R., Perona, P., and Zisserman, A. 2003. Object class recognition
by unsupervised scale-invariant learning. In IEEE Conference on
Computer Vision and Pattern Recognition
, Madison, Wisconsin, pp.
264–271.

Friedman, J.H., Bentley, J.L., and Finkel, R.A. 1977. An algorithm for
finding best matches in logarithmic expected time. ACM Transactions on
Mathematical Software
, 3(3):209–226.

Funt, B.V. and Finlayson, G.D. 1995. Color constant color indexing.
IEEE Trans. on Pattern Analysis and Machine Intelligence,
17(5):522–529.

Grimson, E. 1990. Object Recognition by Computer: The Role of Geometric
Constraints
, The MIT Press: Cambridge, MA. Harris, C. 1992. Geometry
from visual motion. In Active Vision, A. Blake and A. Yuille (Eds.),
MIT Press, pp. 263–284.

Harris, C. and Stephens, M. 1988. A combined corner and edge detector.
In Fourth Alvey Vision Conference, Manchester, UK, pp. 147– 151.

Hartley, R. and Zisserman, A. 2000.Multiple view geometry in computer
vision
, Cambridge University Press: Cambridge, UK.

Hough, P.V.C. 1962. Method and means for recognizing complex patterns.
U.S. Patent 3069654.

Koenderink, J.J. 1984. The structure of images. Biological
Cybernetics
, 50:363–396.

Lindeberg, T. 1993. Detecting salient blob-like image structures and
their scales with a scale-space primal sketch: A method for
focus-of-attention. International Journal of Computer Vision,
11(3):283–318.

Lindeberg, T. 1994. Scale-space theory: A basic tool for analyzing
structures at different scales. Journal of Applied Statistics,
21(2):224–270.

Lowe, D.G. 1991. Fitting parameterized three-dimensional models to
images. IEEE Trans. on Pattern Analysis and Machine Intelligence ,
13(5):441–450.

Lowe, D.G. 1999. Object recognition from local scale-invariant features.
In International Conference on Computer Vision , Corfu, Greece, pp.
1150–1157.

Lowe, D.G. 2001. Local feature view clustering for 3D object
recognition. IEEE Conference on Computer Vision and Pattern
Recognition,
Kauai, Hawaii, pp. 682–688.

Luong, Q.T. and Faugeras, O.D. 1996. The fundamental matrix: Theory,
algorithms, and stability analysis. International Journal of Computer
Vision
, 17(1):43–76.

Matas, J., Chum, O., Urban, M., and Pajdla, T. 2002. Robust wide
baseline stereo from maximally stable extremal regions. In British
Machine Vision Conference
, Cardiff, Wales, pp. 384–393.

Mikolajczyk, K. 2002. Detection of local features invariant to affine
transformations, Ph.D. thesis, Institut National Polytechnique de
Grenoble, France.

Mikolajczyk, K. and Schmid, C. 2002. An affine invariant interest point
detector. In European Conference on Computer Vision (ECCV),
Copenhagen, Denmark, pp. 128–142.

Mikolajczyk, K., Zisserman, A., and Schmid, C. 2003. Shape recognition
with edge-based features. In Proceedings of the British Ma-chine Vision
Conference
, Norwich, U.K.

Moravec, H. 1981. Rover visual obstacle avoidance. In International
Joint Conference on Artificial Intelligence
,Vancouver, Canada, pp.
785–790.

Nelson, R.C. and Selinger, A. 1998. Large-scale tests of a keyed,
appearance-based 3-D object recognition system. Vision Research,
38(15):2469–2488.

Pope, A.R. and Lowe, D.G. 2000. Probabilistic models of appearance for
3-D object recognition. International Journal of Computer Vision ,
40(2):149–167.

Pritchard, D. and Heidrich, W. 2003. Cloth motion capture. Computer
Graphics Forum (Eurographics 2003)
, 22(3):263–271.

Schaffalitzky, F. and Zisserman, A. 2002. Multi-view matching for
unordered image sets, or ‘How do I organize my holiday snaps?”’ In
European Conference on Computer Vision , Copenhagen, Den-mark, pp.
414–431.

Schiele, B. and Crowley, J.L. 2000. Recognition without correspondence
using multidimensional receptive field histograms. International
Journal of Computer Vision
, 36(1):31–50.

Schmid, C. and Mohr, R. 1997. Local gray value invariants for image
retrieval. IEEE Trans. on Pattern Analysis and Machine
Intelligence
,19(5):530–534.

Se, S., Lowe, D.G., and Little, J. 2001. Vision-based mobile robot
localization and mapping using scale-invariant features. In
International Conference on Robotics and Automation , Seoul, Korea,
pp. 2051–2058.

Se, S., Lowe, D.G., and Little, J. 2002. Global localization using
distinctive visual features. In International Conference on Intelligent
Robots and Systems
, IROS 2002 , Lausanne, Switzerland, pp. 226–231.

Shokoufandeh, A., Marsic, I., and Dickinson, S.J. 1999. View-based
object recognition using saliency maps. Image and Vision Computing ,
17:445–460.

Torr, P. 1995. Motion segmentation and outlier detection, Ph.D. The-sis,
Dept. of Engineering Science, University of Oxford, UK.

Tuytelaars, T. and Van Gool, L. 2000. Wide baseline stereo based on
local, affinely invariant regions. In British Machine Vision Conference,
Bristol, UK, pp. 412–422.

Weber, M., Welling, M., and Perona, P. 2000. Unsupervised learning of
models for recognition. In European Conference on Computer Vision,
Dublin, Ireland, pp. 18–32.

Witkin, A.P. 1983. Scale-space filtering. In International Joint
Conference on Artificial Intelligence
, Karlsruhe, Germany, pp.
1019–1022.

Zhang, Z., Deriche, R., Faugeras, O., and Luong, Q.T. 1995. A robust
technique for matching two uncalibrated images through the recovery of
the unknown epipolar geometry. Artificial Intelligence, 78:87–119.

相关文章