摘要:采用分层组织的形式将传统高斯混合模型分为背景层、竞争层和噪声层,各层分别采用不同的更新机制,在各层之间引入晋级和降级机制以纠正可能存在的误判。采用基于轮廓检测的噪声滤波实现噪声层更新以消除噪声,并利用直方图匹配检测伪前景区域以提高对背景变化的适应能力。使用停车场视频和铁路客运站候车室视频对改进后高斯混合模型的检测效果进行了验证。
验证结果表明:改进的高斯混合模型有效避免了长期静止的目标被融入背景,降低了光线突变或摄像机噪声的干扰,加快了背景改变时模型的更新速度,目标检测速度比传统 GMM 提高了10%。检则方法满足了铁路客运站智能视频监控实时性和准确性的要求,为视频分析奠定了基础。
关键词:运动目标检测;高斯混合模型;直方图匹配;噪声滤波;分层组织;轮廓检测
0引言在铁路客运站智能视频监控中获取运动目标是其智能视频监控的核心功能之一。但客运站内存在光线突变和摄像头噪声的影响并且大量旅客运动缓慢甚至静止,这些因素增加了从铁路客运站环境中交通运输工程学报 2013年分离出运动目标的难度。运动目标检测算法主要有差分图像法、背景减除法、基于光流场的方法。差分图像法的特点是实现简单,运算速度快,但不易获得缓慢运动目标的完整轮廓且易漏检静止目标。背景减除法可以有效获得慢速目标的完整区域,算法的关键是准确获得监控场景的背景图像并进行有效的背景更新。光流法能够在不需要任何信息的情况下检测出独立的运动目标,但算法计算量大并且对噪声比较敏感。此外,娄路等提出基于一般特征向量的贝叶斯决策算法来分类前景像素与背景像素,在运动目标密度较小、背景变化不大的短期视频监控中可以获得较好的检测效果,但该算法缺乏对背景模型的有效更新和对光线突变的适应;Stauffer等发展的混合高斯模型(Gaussian MixtureModel,GMM)可以在存在光照缓慢变化和周期性变化的环境中建立可靠的背景模型,已成为背景建模的主要算法。随后许多学者在混合高斯背景建模方法的基础上进行了各种改进,但无法消除光照突变和摄像机噪声的影响,且易将缓慢移动的前景目标融入背景,并且GMM常采用3~5个固定数目的高斯模型,这对于画面中瞬时颜色值变化不大的像素点不仅是一种资源的浪费,而且延长了模型建立的时间,因此,传统GMM不能满足铁路客运站特 殊 环 境 的 要 求。近 年 来,很 多 学 者 为 改 进GMM的不足进行了大量的工作:冯华文等通过对高斯分布权值和生命时间的限制建立高斯分布退出机制,使模型能根据场景自适应选择每个像素的高斯个数,从而去除多余的高斯分布加快了执行速度,但该算法对缓慢运动目标分离效果不佳,且对光线 突 变 的 适 应 性 差;刘 静 等 利 用 三 帧 差 法 对GMM进行更新控制,对不同的区域采用不同的更新率,提高了新背景建立的速度,但该算法对噪声的鲁棒性较差,且对缓慢移动目标的分离性能不佳;李红波等提出利用Kalman滤波器的提前预测结果修正GMM建立的背景模型,可以有效解决背景光线突变的问题,但算法控制因子的选择比较困难,并且对缓慢移动目标的检测性能不佳;陈祖爵等提出在模型更新中引入加速因子和合理性反馈,使得模型能更快、更准确地反映真实的背景;Seki等将目标分成许多小的图像块,用图像块的特征代替单个像素点的特征建立GMM,以提高模型对噪声的敏感度;常晓夫等将目标的角点、边缘轮廓直方图、纹理等特征用于GMM模型,以提高GMM模型的准确性;王永忠等将非参数化概率密度估计、记忆模型、Hough变换或帧间差分算法引入GMM,以提高模型建立和更新的速度或提高目标检测的准确性。但以上方法的试验视频画面比较简单,且算法针对性强,很难适应铁路客运站真实场景的特点。
本文提出了一种基于分层组织的GMM算法,将噪声纳入混合高斯模型,根据实际场景区别对待不同的高斯模型,从而提高了GMM对复杂场景的适应能力。首先,算法将高斯背景模型分为噪声高斯模型层、竞争高斯模型层和背景高斯模型层。其次,算法对不同层的高斯模型采用不同的建立和更新机制,并在各组之间采用降级和晋级机制实现高斯模型在各组之间的移动。最后,算法通过基于直方图匹配的伪前景检测加速背景发生改变时模型的更新。
1自适应混合高斯背景建模GMM为图像每一像素点建立了多个高斯分布,通过高斯分布的建立和更新适应背景的变化。
1.1模型的建立假设X为某个像素点的红、绿、蓝三维颜色值向量,开始连续t幅画面的观察值为{X1,X2,…,Xt},可以利用混合高斯模型建模描述t时刻的观察值Xt属于该像素点背景的概率p(Xt)p(Xt)=∑Ki=1ωitη(Xt,X-it,Ait) (1)η(Xt,X-it,Ait)=1��2πAitex[p -12(Xt-X-it)T·A-1it(Xt-X-it]) (2)∑Ki=1ωit=1式中:
ωit为第i个高斯模型在t时刻的权重,权重越大表明模型是背景的概率越大,K值越大越有利于描述复杂的背景概率分布函数,但计算量也大幅增加,一般K为3~7,本文中为6;η(Xt,X-it,Ait)为第i个高斯模型分布函数,X-it为第i个高斯模型在t时刻的颜色值均值向量,Ait为第i个高斯模型在t时刻的红、绿、蓝颜色值协方差矩阵。为简化计算,本文假设图像的红、绿、蓝三通道相互独立,则Ait为Ait=σRit0 00 σGit00 0 σB��硌妫椋�瘢ǎ常�114第3期 孙首群,等:铁路客运站复杂环境中的运动目标检测式中:σRit、σGit、σBit分别为第i个高斯模型在t时刻红、绿、蓝通道各自独立计算的方差值。
1.2模型的更新将K个高斯模型按照ωit|Ait|从大到小的顺序排列。如果满足式(4),则判断当前颜色值匹配了第i个高斯模型|Xt-X-it|≤2.5|Ait|(4)GMM算法只更新第1个匹配的高斯模型的均值和方差,修改所有高斯分布的权重,更新式(5)~(7)ωi(t+1)=(1-α)ωit+αMi(5)X-i(t+1)=(1-α)X-it+αXt(6)Ai(t+1)=(1-α)Ait+α(Xt-X-it)T(Xt-X-it) (7)式中:Mi为第i个高斯模型的匹配因子,第i个模型被匹配时,Mi为1,否则为0;α为匹配模型更新率。如果未能找到匹配的高斯分布,根据式(4)修改所有分布的权重。然后利用当前颜色值建立一个新的高斯分布,并用新的高斯分布代替排在末位的高斯分布为X-i(t+1) = Xtωi(t+1)=aAi(t+1)=I���� δ(8)式中:
I为单位方阵;a为初始化权重常数,本文中为0.1;δ为初始化方差值常数,本文为100。
1.3运动目标检测将更新后的模型按照ωit/|Ait|从大到小重新排列,计算t时刻背景范围高斯模型的最大序号BtBt=arg min∑ki=1ωit( >0.)85(9)式中:k为ωit>0.85的高斯模型的个数,通常k<K。如果当前像素匹配的是1~Bt中的高斯模型,则该点像素属于背景,否则属于前景。
2改进的混合高斯背景建模为解决铁路客运站特殊环境下噪声干扰和运动目标长期静止等对运动目标检测带来的困难,本文提出一种基于分层组织的高斯混合背景建模算法,算法流程。
2.1高斯模型建立和更新本算法将高斯模型分为噪声层、竞争层和背景层,噪声层最多包含1个高斯模型,竞争层最多包含3个高斯模型,背景层最多包含2个高斯模型。各层采用不同的建立和更新策略。
2.1.1 噪声层高斯模型建立和更新噪声层高斯模型存放像素点短期内受到噪声严重干扰的高斯背景模型。由于视频画面中的噪声具有分散、瞬时、不可预测的特点,噪声在临时前景模版中显示为离散的小亮斑。算法在临时前景模版的基础上通过轮廓检查识别出受噪声干扰的像素点,检测公式为Nj<80或Pj<0.5(10)式中:
Pj为第j个轮廓的有效像素个数占总像素个数的比例;Nj为第j个轮廓内前景像素的数目。
第j个轮廓满足式(10)则表示该轮廓内的像素值属于噪声像素值。如果像素属于包围噪声块的轮廓内的前景像素,则判定该像素受到噪声干扰。当受干扰的像素还没有建立噪声模型时,算法根据式(8)建立噪声高斯模型,并将模型匹配次数设置为1;当受干扰的像素已经建立了噪声模型时,采用式(3)~(7)更新高斯模型,并将匹配次数加1。为减小噪声的干扰,算法采用较大更新率对匹配模型进行更新,本文噪声层模型更新率为0.5。
2.1.2 背景层高斯模型的建立和更新背景层中存放被视为背景的高斯分布。背景层中的高斯分布来自竞争层ωit/|Ait|最大的高斯模型(获胜模型),获胜模型满足如下之一的条件便可以升级为背景模型:当背景模型全为空时,获胜模型直接晋级为背景模型;当背景模型不全为空时,获胜模型的连续匹配次数超过50;当背景模型全不为空时,获胜模型与背景模型竞争并在竞争中获胜。当像素与背景模型匹配时,采用式(4)~(7)更新背景层中匹配的高斯模型,因为背景模型相对稳定,背景高斯更新率取较小的数值,本文中为0.05。
2.1.3 竞争层高斯模型建立和更新存放当前几帧图像建立的临时高斯模型。竞争层高斯模型只有进入背景层才能成为背景。当像素匹配了竞争层的模型时,采用式(4)~(7)对匹配的高斯模型进行更新。为了防止漏检的噪声占用模型空间,算法只会对配次数超过10次时的模型进行更新。竞争层模型更新率采用经验值0.05。
2.2层间模型晋级和降级为了防止各层高斯模型建模过程中存在的判断失误,如将背景改变判断为噪声或是因背景的变化引起的背景模型的过时,算法在各层之间进入晋级和降级机制。
115交通运输工程学报 2013年图1改进的GMM算法Fig.1 Improved GMM algorithm2.2.1 噪声模型的晋级和消除噪声模型的建立是为了消除光线突变或摄像头噪声的影响。由于噪声影响具有瞬时性特点,当噪声模型未被匹配时,将噪声模型匹配次数减1;当噪声模型被匹配时,将噪声匹配次数加1。为了防止背景改变被误判为噪声干扰,算法通过噪声模型匹配次数控制噪声高斯模型的晋级和消除:如果噪声模型的匹配次数大于50,则利用噪声模型代替背景层中匹配次数最小的模型;如果噪声模型的匹配次数减小到0,则将噪声模型消除。
2.2.2 背景模型的遗忘和消除为了防止过期背景模型对模型空间的占用,算法采用背景模型的遗忘和消除控制算法:遗忘是指当背景模型不被匹配时,降低模型的权重;消除是指当背景模型的权重降低到一定程度将模型从背景层移入竞争层。当背景高斯模型未被匹配时,采用式(11)更新模型的权重ωi(t+1)=ωit(1-b) (11)式中:b为遗忘因子,本文中为0.005。当背景高斯模型的权重小于0.01时则说明该模型可能因背景的改变而失效,被消除的背景模型被移到竞争层重新参与竞争。
2.2.3 竞争层与背景层模型的竞争当竞争层中获胜模型的匹配次数大于50时,模型就有晋级为背景模型的机会。如果背景模型全不为空,算法进行如下判断,如果式(12)为真,利用获胜模型代替背景层中第i个模型f>FiωBi<0.{1(12)式中:Fi为第i个背景模型的匹配次数;ωBi为第i个背景模型的权重;f为竞争层获胜模型的匹配次数。
2.3伪前景的判断和消除从铁路客运站存在运动目标的环境中提取背景时,背景可能长时间被遮挡,因此,如果采用上文提到的分层GMM,会使得新背景区域长时间难以更新,在目标图像中表现为伪前景。本文通过直方图匹配加速新背景区域的更新,首先在对临时前景模版进行轮廓检测的基础上,建立每个轮廓内前景像素颜色值分布直方图向量H1和轮廓外附近背景像素的颜色值分布直方图向量H2;其次计算t时刻H1、H2之间的匹配度βtβt=∑Ni=1h′1ih′2i∑Ni=1h′21ih′22��i(13)h′i=hi-1N∑Nj=1hj(14)116第3期 孙首群,等:铁路客运站复杂环境中的运动目标检测式中:
N为直方图中bin的个数;h′1i、h′2i分别为直方图H1、H2中第i个bin的偏差;hj为直方图第j个bin的值。由矩阵知识可知-1≤βt≤1,当完全匹配时βt为1,完全不匹配时βt为-1。算法利用直方图匹配度进行伪前景的判断,当βt≥0时说明前景中的像素与背景像素十分接近,由此将该前景区域标志为伪前景。一旦确定轮廓内的前景点为伪前景,按照式(8)建立新的高斯分布,并代替背景层中为空或匹配次数最小的模型。
3试验结果分析本文采用OpenCV 2.1结合VC++2008实现算法。传统GMM算法对每个模型最多建立6个高斯模型,改进的GMM算法采用上文参数。分别采用停车场监控视频和铁路客运站候车室监控视频对2种算法的检测效果进行比较。监控视频画面为720Pixel×576Pixel,停车场监控视频共计1 300帧,铁路客运站监控视频共计3 735帧。传统GMM和改进的GMM对停车场视频中运动目标的检测结果见图2~5,对候车室视频中运动目标的检测结果见图6~10。通过传统GMM算法对运动目标的检测效果可以看出:本文2类视频画面中都存在严重的光线突变和摄像机噪声。通过原始图像可以看出:铁路客运站候车室视频画面中的行人大多移动缓慢甚至长时间停留。
3.1传统GMM检测结果由图2~10可以看出,采用传统GMM算法对运动目标进行检测时,算法均难以适应光线突变和摄像机噪声,因此,在整个分割过程的运动目标图像中存在大量的噪声亮斑;在图7(b)、8(b)、9(b)、10(b)中,传统GMM算法把运动缓慢尤其是长时间静止的目标融入背景,使得运动目标部分甚至全部消失;图8(b)、9(b)、10(b)中,长时间被遮挡的背景需要有较长的更新过程,视频画面中仍残留多处大面积的伪前景。
3.2改进后GMM算法的检测结果改进后GMM算法对运动目标进行检测时,算法有效地抑制了噪声的影响,但将远景中小的移动目标判断为背景;在铁路客运候车室智能视频监控中,每个摄像头都有其有效的监控区域,视频 中远景目标已经 失 去 了 监 控 的 价 值,因此,已不在监控的有效范围内;在对候车室行人的监测结果中,改进的GMM算法有效防止了长时间停留 的 运 动 目 标 被 融 入 背 景,图8(c)、9(c)、10(c)中通过与周围背景的匹配实现对伪前景的消 除,改进的GMM算法可以在短时间内适应新可以看出:改进后GMM算法在时效性上比传统GMM提高10%,这主要是因为改进的GMM算法虽然更为复杂,但减少了每一像素更新和判断时所用遍历的高斯模型的数目。
改进的GMM算法每秒可以对5帧画面完成运动目表1耗时对比Tab.1 Comparison of consuming times ms·帧-1视频 方法 最大耗时 最小耗时 平均耗时停车场传统GMM 328 296 313改进GMM 312 265 281传统GMM 468 156 235改进GMM 406 171 203标的检测,在不存在快速运动目标的铁路客运站智能视频监控中,可以满足实时性的要求。
4结语针对铁路客运站智能视频监控中运动目标难以检测的问题,本文提出了改进的混合高斯背景建模和运动检测算法。结果表明本文算法有效避免了铁路客运站光线突变和摄像机噪声的干扰,有效解决了运动目标长期静止而漏检的问题,快速适应背景事物的变化。算法提高了传统GMM算法在铁路客运站进行运动目标检测的有效性。铁路客运站视频监控多采用固定场景,因此本文的研究也是基于固定场景画面。随着实际应用对运动场景监控的要求,适用于铁路客运站运动场景中的目标检测是有待研究的内容。提高算法的视频内容分析能力以检测出场景中固有的静止目标也是有待研究的内容。
参 考 文 献 :
References:
[1]郑锦,李波.视频序列中运动对象检测技术的研究现状与展望[J].计算机应用研究,2008,25(12):
3534-3540.ZHENG Jin,LI Bo.Prospects and current studies on motionobject detection in video sequences[J].Application Researchof Computers,2008,25(12):3534-3540.(in Chinese)
[2]STAUFFER C,GRIMSON W E L.Learning patterns ofactivity using real-time tracking[J].IEEE Transactions onPattern Analysis and Machine Intelligence,2000,22(8):747-757.
[3]杨国亮,王志良,牟世堂,等.一种改进的光流算法[J].计算机工程,2006,32(15):187-188,226.YANG Guo-liang,WANG Zhi-liang,MU Shi-tang,et al.An improved optical flow algorithm[J].Computer Engineering,2006,32(15):187-188,226.(in Chinese)[4]娄路,赵玲,耿涛.运动车辆检测与跟踪方法[J].