bgm.txt

本文介绍了数字图像处理与模式识别在交通的应用领域及其重要意义

大部分视觉监视系统都选择了根据空间连续性来分割目标的连通区域检测算法[3][4]。
常用的连通检测算子有4-连通和8-连通两种[8]。由于连通关系是一种等价关系，所以
连通区域分割算法实质上就是将前景点集按连通关系划分为若干个等价类（连通集）。初始
数据中的噪声（离散的噪声前景点和目标区域中的小孔等）会给连通区域检测带来不良影响， 
第4 页

一种基于背景模型的运动目标检测与跟踪算法
因此在进行连通集划分前一般都要先进行去噪处理。这一步可以通过形态学运算实现，利用
腐蚀和膨胀算子分别去除孤立的噪声前景点和填补目标区域的小孔。但这种处理也会影响目
标原本的边缘和形状，特别是目标本身尺度较小的时候，它的边缘细节很容易为这种去噪处
理所破坏。
（从左到右依次为：初始前景点集F、扩张集Fe、收缩集Fc 和分割结果）
图3 目标分割示意图
为了解决这个问题，本文算法对通常的连通检测算法作了一些改动，将去噪后连通检测
的结果重新返回到初始前景点集上，以恢复其固有的边缘。记由背景模型消减得到的前景点
集为F，我们先对F 分别进行扩张和收缩处理，得到扩张集Fe 和收缩集Fc。扩张和收缩可
以通过腐蚀和膨胀来实现， 具体的尺度可根据实际应用条件来确定。可以认为扩张集Fe 和
收缩集Fc 分别是对初始前景点集F 进行填补小孔和去除孤立噪声点的结果，所以应有
Fc < F < Fe 。然后以收缩集Fc 作为起始点，在扩张集Fe 上检测连通区域，检测结果记为
{Rei , i = ,...,2 ,1 N}。最后将检测所得的连通区域重新投影到初始前景点集F 上，得到最后
,的连通检测结果{Ri = Rei I i F = ,...,2 ,1 N}。图3 是对一行人应用上述连通区域检测算法
的示意图，从图中可以看出这种分割算法既保持了目标的完整性，避免了噪声前景点的影响， 
又保留了目标的边缘细节部分。比较Rei 和Ri，还可以得到目标的边缘Bi = Rei . Ri 。
在分割出目标区域后，即可以提取前景目标的静态特征。本文中使用的静态目标特征包
括外接矩形大小、面积、长宽比、中值点位置、颜色投影直方图等。根据具体应用场合这些
特征的实际取值情况，可以进行适当的目标验证，以增强目标分割结果的可靠性。
4 运动目标跟踪
运动目标跟踪的目的是确定各运动目标的运动轨迹，其关键是在检测所得的静态前景目
标和受跟踪的动态运动目标之间建立对应关系[3]。这种对应关系的建立可以通过目标特征
匹配来实现。一般被选择用于匹配的特征包括那些与物理运动关系密切的特征，如位置、大
小等，以及目标的形状和颜色等。匹配时可以根据各特征的重要性设定不同的权重系数。
由于运动目标是随时间变化的， 所以关于它的特征描述也是动态的。从时间上说， 运动
目标总是比即将与它匹配的前景目标落后一帧，所以在匹配前要先根据运动目标的运动历史
记录预测它在下一帧中的特征。最常用的被预测特征是位置信息，预测时所用的运动模型则
有一阶运动模型（速度恒定）、二阶运动模型（加速度恒定），以及更为复杂的高阶模型如
Kalman 滤波器[9]等。我们的算法中采用了二阶Kalman 滤波器模型作为目标的运动模型。
在对预测后的运动目标和前景目标进行匹配时，还可以利用图像块匹配来精确定位目标的位
置。一旦为运动目标找到了相对应的前景目标，则需要对其特征和运动历史记录进行适当的
更新。
运动目标跟踪中的一个难题是对多个目标间相互遮挡关系的处理，因为这时很容易出现
第5 页

一种基于背景模型的运动目标检测与跟踪算法
多个实际的运动目标因为重叠而被分割为一个前景目标的情况，直接影响跟踪处理。本文分
析了目标遮挡的几种可能情况，将运动目标和前景目标间的对应关系分为6 类并作了分别处
理：
... 出现（0 到1）： 一个新运动目标开始出现。根据该前景目标初始化一运动目标，
设定初始目标权值，并置合并/分离计数为0； 
... 消失（1 到0）： 一个运动目标正在消失。用该运动目标的预测目标更新它，降低
该目标的权值，置合并/分离计数为0； 
... 理想跟踪（1 到1）： 没有发生遮挡的正常跟踪。用相应的前景目标更新该运动目
标。根据该目标的速度判断其是处于运动还是静止状态（如前文所述，我们对静
止目标作了特殊处理，以改善背景模型对背景变化的响应能力），置合并/分离计
数为0； 
... 合并（n 到1）： 多个目标相互间出现遮挡的情形。将各运动目标的合并/分离计数
增1，若这些目标速度相近且合并/分离计数足够大， 则将它们合并成一个大运动
目标——由该前景目标初始化一新运动目标，并继承原先众运动目标的动态特征；
否则，各目标仍用各自经修正的预测结果进行更新；
... 分离（1 到n）： 与合并相反的过程。将各运动目标的合并/分离计数减1，若合并/ 
分离计数足够小，则将该运动目标分为多个小运动目标——由这些前景目标初始
化多个运动目标，并继承原目标的动态特征；否则，将这些前景目标合并成一个
大前景目标并以之更新该运动目标；
... 复杂遮挡（m 到n）： 这种复杂遮挡的情况很难处理，本文也不对此作深入探讨，
而是采取一种简单的处理办法：去除原来的m 个运动目标， 再由这些前景目标各
自初始化一新运动目标。
这里的目标权值是我们引入的表示运动目标可靠性的度量。根据它由高到低的次序运动
目标被分为可见（可靠的运动目标，参加目标匹配）、活动（不可靠的运动目标，但也参加
目标匹配）和非活动（不参加目标匹配）三类， 只有当某运动目标连续出现足够多次才会被
认为是可靠的，反之可靠的运动目标也要连续消失多次才会被认为确实消失了。这种处理可
以减弱前景目标误检测和漏检测的影响，使运动目标的跟踪过程更加稳定。
5 实验结果与分析
我们使用固定在三脚架上的摄像机在室外摄取了若干视频序列，并依照本文的算法进行
了运动目标检测和跟踪处理。这些视频图像帧的大小都为320×240， 真彩色格式。在普通
PC 机（Pentium III 600 Hz CPU） 上， 本文的目标检测与跟踪算法达到了15 fps 的处理速度。
图4 是对背景模型的更新策略改进前后的实验对比结果。其中最顶行为视频图像帧，第
2、第3 行分别是单高斯分布背景模型在改进前后的检测结果，第4、第5 行则分别是多高
斯分布背景模型在改进前后的检测结果。在（a） 中一辆自行车由静止开始运动并留下了“ 影
子”（b） 中一辆汽车和一行人相对而过，（c）则是（a） 中“影子”消失或即将消失的时刻
，
（对改进前的单高斯分布模型，经过近千帧“影子”仍然没有消失的迹象）。本例将两种背
景模型在改进前的更新率都设置得比较小（ 刚好没有出现图2-b 中的“空洞”）， 因此评价背
景模型的性能主要依据它们对背景变化的响应速度快慢。从图中可以看出， 在对背景、静止
目标、运动目标使用不同的更新策略后，运动目标“影子” 的消失变快了（ 单高斯分布背景
模型中从1000 帧之后提前到第16 帧，多高斯分布背景模型也从第47 帧提前到第15 帧）， 
说明背景模型对背景变化的响应速度有了明显提高。
第6 页

一种基于背景模型的运动目标检测与跟踪算法
（a）自行车留下“影子”（b）行人与汽车交错而过（c）自行车“影子”消失
图4 背景模型改进前后的检测结果
（ 第1 行为视频图像帧，第2、第3 行分别是单高斯分布背景模型在改进前后的检测结果， 
第4、第5 行则分别是多高斯分布背景模型在改进前后的检测结果。） 
图5 是对一前景点集进行目标分割的结果。（a） 是待分割的前景点集；（b） 是既没有扩
张也没有收缩的检测结果， 受噪声影响较严重， 不但将许多噪声前景点分割为目标， 而且将
行人分割为两个目标（头部和躯体）（c） 是做了扩张但没有做收缩的结果，保持了分割后
；
行人的完整性；（d） 是没有做扩张但做了收缩的结果，去除了孤立前景噪声点的影响；（e） 
是既做了扩张也做了收缩的结果，不但避免了将孤立噪声点分割为前景目标，同时保持了目
标的完整性。比较这四种检测结果可以清楚看出扩张和收缩两个步骤分别对小孔和小噪声前
景点的处理效果。
a）待分割前景（b）普通检测（c）收缩（d）扩张（e）扩张+收缩
图5 前景目标分割
图6 是对一个目标间存在遮挡的视频序列进行目标跟踪的结果。该例中行人从左向右行
走，汽车则从右向左行驶， 相遇时汽车的一部分被行人所遮挡。图中用不同的颜色和数字标
记出被跟踪的汽车和行人的运动情况。在遮挡发生时我们依靠运动预测和图像块匹配来估计
汽车和行人的准确位置，对它们的姿态则仍认为与遮挡前相同。这种处理方法对刚体（ 如汽
车）的效果比较好， 对形变体（ 如行人）则会显得很生硬。如果物体的运动具有比较明显的
周期性特征，可以通过分析其运动周期性[10]来估计在不同时刻的姿态。
6 结论
本文提出了一种静止摄像机条件下基于背景模型的运动目标检测和跟踪算法。算法中采
第7 页

一种基于背景模型的运动目标检测与跟踪算法
用的自适应背景模型对背景、静止目标和运动目标三者采取了不同的更新策略，既能减弱运
动目标对背景模型的影响，又可以迅速响应实际背景的变化。在目标分割时对普通的连通区
域检测算法作了改进以保护目标的边缘细节部分，跟踪中则考虑了目标跟踪中的相互遮挡关
系和前景目标检测的可靠性问题。实验表明， 该算法对检测和跟踪过程中的光照变化、各种
噪声等都有较强的处理能力和较好的处理效果。
目前的跟踪算法可以比较好地处理两个运动目标相互遮挡的情况，为进一步考虑更多目
标之间存在复杂遮挡情形下的跟踪问题提供了有益的启示。这也是我们今后进一步研究的方
向。
图6 遮挡条件下的运动目标跟踪
参考文献
[1] C. Wren, A. Azarbayejani, T. Darrell, and A. Pentland, “Pfinder: Real-time Tracking of the 
Human Body”, IEEE Trans. PAMI, vol. 19, no. 7, pp. 780-785, Jul. 1997 
[2] T. Olson, F. Brill, “Moving Object Detection and Event Recognition Algorithms for Smart 
Cameras”, Proc. DARPA Image Understanding Workshop, May 1997 
[3] I. Haritaoglu, D. Harwood and L. S. Davis, “W4: Rea-Time Surveillance of People and 
Their Activities,” IEEE Trans. PAMI, vol. 22, no. 8, pp. 809-830, Aug. 2000 
[4] R. T. Collins, A. J. Lipton and T. Kanade, “A System for Video Surveillance and 
Monitoring”, Proc. Am. Nuclear Soc.(ANS) Eighth Int’l Topical Meeting Robotic and 
Remote Systems, Apr. 1999 
[5] C. Stauffer, W. E. L. Grimson, “Learning Patterns of Activity Using Real-Time Tracking,” 
IEEE Trans. PAMI, vol.22, no.8, pp. 747-757, Aug. 2000 
[6] C. Anderson, P. Burt, and G. Can der Wal. “Change Detection and Tracking Using Pyramid 
Transformatin techniques”, Proc. SPIE–Intelligent Robots and Computer Vision, vol. 579, 
pp. 72-78, 1985 
[7] J. Barron, D. Fleet, and S. Beauchemin, “Performance of Optical Flow Techniques”, 
International Journal of Computer Vision, vol. 12, no. 1, pp. 42-77, 1994 
[8] K. R. Castleman, Digital Image Processing, Prentice Hall & 清华大学出版社, 1998 
[9] A. M. Tekalp. Digital Video Processing. Rochester, NY, 1995 
[10] F. Liu and R. W. Picard, “Finding Periodicity in Space and Time”, Proc. Int’l Conf. 
Computer Vision, pp. 376-383, Jan. 1998 
第8 页

一种基于背景模型的运动目标检测与跟踪算法
附：
英文摘要
Moving Object Detection and Tracking Based on Background Subtraction 
Liu Ya Ai Haizhou Xu Guangyou 
Computer Science and Technology Department, Tsinghua University 
State Key Laboratory of Intelligent Technology and Systems, Beijing 100084 
[e-mail], {ahz, xgy-dcs}@mail.tsinghua.edu.cn 
Abstract An approach to detect and track moving objects with a static camera is presented in 
this paper. A modified mixture Gaussian model is used as the adaptive background updating 
method. Foreground objects are segmented based on an improved binary connected component 
analysis. Kalman filtering is used in object tracking. To deal with the problem of occlusion 
between objects in tracking, various situations are analyzed and a measure of reliability of moving 
objects is adopted which makes the tracker more effective. Experiments on several outdoor video 
streams that shown convictive object detection and tracking performance demonstrate its strong 
adaptability to lighting changes, shadows and occlusions. 
Keywords background modeling, mixture Gaussian model, Kalman filtering, moving object 
detection and tracking 
作者简介
刘亚男，1976 年生，现为清华大学计算机应用专业硕士研究生，主要研究方向为视频
运动稳定、视觉监视；
艾海舟男，1964 年生，现为清华大学计算机系副教授，研究领域为移动机器人、计算机
视觉、人脸检测、模式识别等；
徐光佑男，1940 年生，现为清华大学计算机系教授、博士生导师，研究领域为计算机视
觉、人脸识别、多媒体信息处理等。
第9 页