人脸识别赵立宏.txt

一篇人脸识别的博士论文

标准人脸进行匹配[36]。Kanad 的系统实现了快速、实时处理，是一个很大的进步。相比
之下，Baron 所做的工作较少为人所知，他先对图像灰度进行归一化处理，再用4 个掩
模(眼、鼻、嘴及眉毛以下的整个脸部)表示人脸，然后分别计算4 个掩模与数据库中每
幅标准图像的相应掩模之间的互相关系数，以此作为判别依据[37]。总的来说，这类方法
需要利用操作员的某些先验知识，仍然摆脱不了人的干预。

第三阶段是真正的自动识别阶段。近年来，随着高性能计算机的发展，人脸模式识
别方法有了较大的突破，目前已提出了多种机器全自动识别系统。根据人脸表征方式的
不同，可以将人脸自动识别方法大致分为三大类：基于几何特征的识别方法、基于代数
特征的识别方法和基于连接机制的识别方法[9,13,23,26,31]。

在过去的几年中，人脸识别方法得到了很大的发展。人脸识别的应用范围非常广泛，

-7 


东北大学博士学位论文第一章绪论

在金融商业领域、政府部门、公安部门、国家安全部门等领域中都有着广阔的应用前景。
事实上，几乎所有基于个人身份识别的设施及系统都在它的应用范围之列。

国内关于人脸自动识别的研究始于80 年代[23]，我国许多高校和研究机构在图像处
理和模式识别领域中有着很好的研究基础，并积极开展了对包括人脸识别在内的基于人
体生物特征识别技术的基础研究和应用开发工作，相信不久我国在这一研究领域的研究
和产品开发工作将能处于世界先进行列。

人脸识别技术的研究由于涉及众多学科知识，因此难度相当大。另外，随着种族的
不同，带来了识别库及识别算法的差异，这也给具体应用带来困难，同时也给具体研发
部门带来机遇，即国外已经开发成功的商用软件在我国应用范围有限，不大可能形成垄
断，这为国产人脸识别系统占领市场留下了很大的发展空间。

综上所述，人脸识别技术有着非常广阔的应用前景，自动人脸识别系统在各种不同
领域中的应用必将对人们生活的各个方面产生深刻的影响。

1.2.2 人脸识别的研究内容
人脸自动识别的研究大致可以分为人脸检测、人脸表征、人脸识别和表情分析等几
个方面[23]。

1.2.2.1 人脸检测
人脸检测(Face Detection)就是从各种不同的场景中检测出人脸的存在并确定其位置。
在某些情况下由于图像(照片)的获取环境是可以人为控制的(如身份证照片等)，因而人
脸的定位可以轻易地做到；但在大多数场合中由于场景较复杂，人脸的位置是预先不知
道的，因而首先必须确定场景中是否存在人脸，如果存在人脸，再确定其位置。脸部毛
发、化妆、光照、噪声、面部倾斜和人脸大小变化以及各种各样遮挡等因素会使人脸检
测问题变得更为复杂。

1.2.2.2 人脸表征
人脸表征(Face Representation)就是采取某种表示方法表示检测出的人脸和数据库
中的已知人脸。通常的表示方法包括几何特征(如欧式距离、曲率、角度等)、代数特征(如
矩阵特征向量)、固定特征模板、特征脸、云纹图等。

1.2.2.3 人脸识别
人脸识别(Face Identification)就是将待识别的人脸与数据库中的已知人脸比较，得出
相关信息。其过程是选择适当的人脸表征方式与匹配策略。整个识别系统的构造与人脸
的表征方式密切相关。

1.2.2.4 表情分析
表情分析(Expression Analysis)就是对待识别人脸的表情(快乐、悲伤、恐惧、惊奇等) 
信息进行分析，并对其进行分类。到目前为止，由于该问题的复杂性，人们对表情分析
的研究还处于起步阶段。Schlosberg[48]首先提出了表情描述的三个量化尺度：注意－拒

-8 


东北大学博士学位论文第一章绪论

绝(Attention-Rejection, A-R) 、高兴－不高兴(Pleasant-Unpleasant, P-U) 、活跃程度(Level of 
Activation)。如“轻视”、“厌烦”二种表情就有很高的“拒绝”值，而“愤怒”则有很
高的“不高兴”值。Ekman 和Friesen[49]研究了六种基本表情(即高兴、悲伤、惊讶、恐
惧、愤怒和恶心)，并系统地建立了上千幅不同的人脸表情图像库。在计算机图形学(尤
其是计算机动画)领域，人脸肌肉(解剖学)表情模型也得到了广泛的研究。最近几年，表
情分析引起了人们越来越大的兴趣，并提出了一系列的人脸表情自动分析方法，主要包
括：⑴.. 跟踪特征区域(眼、嘴、眉毛)及关键点的运动轨迹方法。例如Yaser Yacoob 根据

J. N. Bassili 和P. Ekman 等人的工作建立了“脸部动态字典”[38]，并以此描述为依据来
识别出人脸表情。⑵运用径向基神经元网络(Radial Basis Function Network，RBFN) 结构
的方法。Rosenblum[39]设计的系统在获得特征区域运动方式上与Yaser Yacoob 类似，但
他在分析和解释运动模式时，采用了经过6 种不同表情训练后的RBF 网络。
1.2.2.5 生理分类
生理分类(Physical Classification)就是对待识别人脸的生理特征进行分析，得出其年
龄、性别等相关信息。显然，完成这一任务需要大量的知识，并且在通常情况下是非常
困难和复杂的。

人脸识别系统的基本框架如图1.2 所示。首先，由传感器(如CCD 摄像机)捕获人脸
图像，接着用预处理提高图像的品质，然后根据人脸检测来定位人脸并将人脸图像设置
成预先定义的尺寸。特征提取用于抽取有效特征以降低原模式空间的维数，分类器则根
据特征做出决策分类，最后，利用特征及分类器信息给出识别结果。

传感器CCD 


预处理
分类器设计
人脸识别结果
特征提取
图1.2 人脸识别系统
Fig.1.2 System of face recognition 

1.3 人脸检测方法
目前，人脸自动检测与识别是模式识别领域中极其活跃的一个研究方向。检测是把
人脸(或某个面部器官)的全体作为一类模式，着重研究人脸的共性。识别则是把人脸个
体作为一类模式，着重研究人脸的个性。对于一个完整的全自动人脸识别系统，二者都
是不可或缺的重要组成部分[24] 。

人脸检测(face detection)[40-42] 的对象从广义上讲既包括整张人脸，也包括某个面部器
官，如眼睛、嘴巴、鼻子、眉毛等。检测的内容除了从一幅背景图像中将被检测对象分
割出来以外，还包括确定其位置、大小、方向甚至形状等[42] 。人脸检测定义为：任意给
定一幅图像或者一组图像序列，人脸检测的目的是判定该图像或图像序列中是否存在人
脸。如果存在，则确定其位置和空间分布[42] 。根据这个定义可知，人脸检测可分为两种
情况：第一种情况是在静止图像中判断是否存在人脸，若存在，则确定人脸位置；第二

-9 


东北大学博士学位论文第一章绪论

种情况是在视频图像序列中判断是否存在人脸，若存在，则动态地跟踪人脸。显然，动
态人脸检测要比静态人脸检测困难。人脸检测作为人脸信息处理中的一项关键技术，近
年来成为模式识别与计算机视觉领域内一项受到普遍重视、研究十分活跃的课题。

1.3.1 基于知识的方法
基于知识的方法(Knowledge-Based Methods) 是基于规则的人脸检测方法。规则来源
于研究者关于人脸的先验知识。一般比较容易提出简单的规则来描述人脸特征和它们的
相互关系。例如，在一幅图像中出现的人脸，通常具有互相对称的两只眼睛、一个鼻子
和一张嘴。特征之间的相互关系可以通过它们的相对距离和位置来描述。在输入图像中
首先提取面部特征，确定基于编码规则的人脸候选区域。

这种方法存在的问题是很难将人类知识转换为明确定义的规则。如果规则是详细的
(严格的)，由于不能通过所有的规则检测可能失败。如果规则太概括(通用)，可能会有
较高的错误接受率。此外，很难将这种方法扩展到在不同的位姿下检测人脸，因为列举
所有的情况是一项很困难的工作。

Yang和Huang使用分层的基于知识的人脸检测方法[43]。他们的系统由3级规则组成。
在最高级，通过扫描输入图像的窗口和应用每个位置的规则集找到所有可能的人脸候选
区。较高级的规则通常描述人脸看起来象什么，而较低级的规则依赖于面部特征的细节。
多分辨率的分层图像通过平均和二次采样生成，如图1.3 所示。

编码规则通常在较低的分辨率下确定人脸的候选区，包括人脸的中心部分(图1.4 中
较浅的阴影部分)，其中有4个基本上相同的灰度单元。


图1.3 Yang 和Huang 的检测方
法
Fig.1.3 The detection method of Yang and Huang


在人脸的上层周围部分具有相同的灰度。人脸的中心部分和上层周围的灰度不同。

最低分辨率的(Lever 1)图像用于搜索人脸的候选区并在后面较
精细的分辨率下做进一步处理。在Lever 2完成人脸候选区的局
部直方图均衡化，并进行边缘检测。继续存在的候选区在Lever 
3用其他的人脸特征如眼睛、嘴等对应的规则进行检查。这种
方法的特点是用从粗到细的策略来减少所需要的计算。虽然它图1.4 人脸候选区
没有很高的检测率，但采用多分辨率分层的思想和指导搜索的Fig.1.4 Face candidate 
规则已经用到后面的人脸检测工作中[44]。

-10 


东北大学博士学位论文第一章绪论

Kotropoulos和Pitas[44]提出了一种类似于[43]的基于规则的定位方法。用投影方法确定
面部特征，I(x，y)是m×n图像中(x，y)位置的灰度值，图像的水平和垂直投影定义为

nm 

.. 
11=y=x 
它对应于头部的左右两边，获得输入图像的水平轮廓。类似地，获得垂直的轮廓，局部
最小点的确定用于定位嘴唇、鼻尖和眼睛。这些检测到的特征组成了面部候选区。
李华胜等人提出通过区域增长从人脸图像中分割出人脸，再利用边缘检测、Hough 
变换、模板匹配和方差投影技术快速有效地提取出人脸面部器官如眼睛、鼻子和嘴巴等
[45]特征。实验结果表明其所采用的方法具有较高的准确率(95.5%)和光照鲁棒性。
[46]姜军等人提出了一种基于知识的快速人脸检测方法。采用符合人脸生理结构特征
的人脸镶嵌图模型。在分析了足够多的人脸图像样本基础上，针对人脸图像的灰度和边
缘信息，建立了一种较为完备的知识库；为加快检测速度，采用了多级检测步骤。实验
结果表明，其方法具有较强的鲁棒性，能够很好地解决复杂背景下的多人脸检测问题。
[47]卢春雨等人对镶嵌图方法进行了改进，按照人脸器官的分布将人脸划分为33×
个马赛克块，在检测中自适应地调整各块的大小，使用一组基于各块灰度和梯度统计特
征的知识规则检验该区域是否为人脸，取得了较好的实验结果。
基于特征的方法(Feature-Based Methods) 不仅可以从已有的面部特征而且可以从它
们的几何关系进行人脸检测。和基于知识的方法相反，它是寻找人脸的不变特征用于人
脸检测。人们已经提出了许多先检测人脸面部特征，后推断人脸是否存在的方法。面部
特征如眉毛、眼睛、鼻子、嘴和发际等，一般利用边缘检测器提取。根据提取的特征，
建立统计模型描述特征之间的关系并确定存在的人脸。基于特征的算法存在的问题是，
由于光照、噪声和遮挡等使图像特征被严重地破坏，人脸的特征边界被弱化，阴影可能
引起很强的边缘，而这些边缘可能使得算法难以使用。
[48]Sirohey提出了从复杂的背景中分割人脸进行人脸识别的定位方法。它使用边缘图
[49]域和背景间的边界。Graf等人提出定位灰度图像的面部特征和人脸的检测方法。在滤
[50]出一种基于局部特征检测器和任意图匹配的概率方法，在复杂场景中定位人脸。其目

1.3.2 基于特征的方法
和启发式算法来去除和组织边缘，而只保存一个边缘轮廓。然后用一个椭圆拟合头部区

波以后，用形态学的方法增强具有高亮度、含有某些形状(如眼睛)的区域。Leung等人提

标是找到确定的面部特征排列。典型的人脸用5个特征(2只眼睛、2个鼻孔和鼻子与嘴唇
的连接处)来描述。Yow和Cipolla提出了一种基于特征的方法[51-53] 。在第一阶段，应用了
二阶微分Gaussian滤波器，在滤波器响应的局部最大点检测感兴趣的点，指出人脸特征
可能的位置。第二阶段，检查感兴趣点周围的边缘并将它们组成区域。这种方法的优点
是可以在不同的方向和位姿上检测人脸[53]。Han等人提出了一种基于形态学的技术进行
眼部分割进而实现人脸检测的方法[54]。他们认为眼睛和眼眉是人脸最突出和稳定的特

HI (x) 

I (x, y) 和

VI(y) 

I (x, y) 

。通过在HI中的急剧变化检测到两个局部最小点，

=


=


-11 


东北大学博士学位论文第一章绪论

征，特别适合人脸检测。

彭进业等人提出了一种在图像的反对称双正交小波分解数据域中，实现多尺度对称
变换的方法，并将它应用于脸部图像中主要特征点的定位[55]。王延江等人提出了一种快
速的彩色图像中复杂背景下人脸检测方法[56]。其方法首先计算对彩色图像中与人的肤色
相似的象素进行聚类和区域分割。然后利用小波分解对每一个候选区域进行人脸特征分
析，如所检测到的区域特征分布与某一预先定义的人脸模型相似，则确认该区域代表人
脸。

在人脸检测和手的跟踪等许多应用中，已经使用了人类的皮肤颜色作为特征[57-63] 。
虽然不同的人有不同的皮肤颜色，研究已经表明主要的不同在于它们的亮度而不是它们
的色度。标注皮肤象素