融合背景差分的二次重構和內外標記分水嶺的行人檢測方法

王愛麗，董寶田，王澤勝

（北京交通大學交通運輸學院，北京100044）

融合背景差分的二次重構和內外標記分水嶺的行人檢測方法

王愛麗，董寶田＊，王澤勝

（北京交通大學交通運輸學院，北京100044）

應用視頻處理技術對行人交通進行研究受到廣泛的重視，已成為智能交通領域的研究熱點.為了精準地提取交通場景語義信息，提出融合背景差分的二次重構和內外標記分水嶺的行人檢測方法.首先對圖像進行灰度級形態(tài)學開閉重構和背景差分運算，凸顯出前景區(qū)域，銳化背景區(qū)域；然后根據灰度圖像局部極大值和鄰域綜合信息提取內部標記，進行“準歐式”距離變換提取外部標記；最后對梯度圖像進行修正和分水嶺變換，提取出圖像中運動的行人.結果表明，該方法能顯著地去除運動噪聲的影響，檢測到相對完整的目標，很好地抑制了過分割問題,在動態(tài)場景的行人檢測中取得了較好的效果.

智能交通；二次重構；背景差分；內外標記；分水嶺；行人檢測

1 引言

智能交通系統(tǒng)是解決交通擁擠的有效方法，其中交通信息智能檢測設備是交通管理系統(tǒng)的基礎，而基于視頻圖像處理技術的檢測法相對于傳統(tǒng)方法，具有不破壞路面及維護方便等優(yōu)點，已成為交通信息采集的發(fā)展方向[1].隨著交通視頻監(jiān)控技術的發(fā)展，行人交通檢測也得到廣泛的重視，對其展開研究具有極大的現(xiàn)實意義和實用價值.

對交通視頻圖像目標區(qū)域進行精準的分割，提取出運動目標是實現(xiàn)交通信息智能檢測的難點和重點.很多學者投入到該領域并提出許多算法，如閾值法、邊緣分割法及分水嶺法等[2].其中基于數學形態(tài)學的分水嶺法是新發(fā)展起來的一種方法，由Beucher等人最早提出，其中L Vincent和P Soille提出的模擬浸沒過程最為經典[3].因其能得到精確、單像素寬、連續(xù)封閉的分割邊緣，為關注的焦點.但傳統(tǒng)分水嶺存在著對圖像過分割問題.由此提出了許多解決方法[4,5]，主要有：①在進行分水嶺變換前，通過濾波、標記提取等手段抑制噪聲引起的過分割；②在分水嶺變換后，通過一定的合并準則，將小區(qū)域合并到相鄰區(qū)域中，減少細小區(qū)域.對于復雜的交通環(huán)境，現(xiàn)有方法無法直接適用，需要針對具體環(huán)境進行研究.

在前人研究的基礎上，提出一種融合背景差分的二次重構和內外標記分水嶺的目標提取方法.該方法融合二次重構、背景差分運動區(qū)域檢測及內外標記技術進行預處理，并對其梯度進行修正和分水嶺變換，準確地提取出交通場景中運動行人.實驗表明，此方法較好地解決了過分割問題，沒有區(qū)域合并的后續(xù)過程，方法簡便，在動態(tài)交通場景的行人檢測中取得了較好的效果.

2 檢測方法的實現(xiàn)

為了更好地檢測場景內的行人信息，提出了融合背景差分的二次重構和內外標記分水嶺的目標檢測方法，其流程如圖1所示.該方法首先將提取的圖像進行二次重構，并引入背景差分方法，對重建圖像進行差分運算，清晰地凸顯出前景運動區(qū)域；然后根據灰度圖像局部極大值和鄰域信息進行內外區(qū)域標記提??；最后對原始梯度圖像進行修正和分水嶺分割，提取出圖像中的目標.2.1灰度級形態(tài)學重構

圖1 方法流程Fig.1 Method flow chart

為了對前景目標進行更好的標記，采用形態(tài)學重構技術對圖像進行處理.形態(tài)學重構技術是一種涉及到兩幅圖像和一個結構元素的形態(tài)學變換.一幅為標記，另一幅是掩膜，用來約束變換過程[6].假設g為掩膜，f為標記，則從f重構g可以記為Rg(f)，迭代過程如下：

①將D1初始化為標記圖像f；②創(chuàng)建結構元素b=ones(n)；③重復Dk+1=(Dk⊕b)?g，直到Dk+1=Dk結束.

常用的重構技術是建立在膨脹和腐蝕基礎上的開、閉運算重構.開重構Orbec(f,g)定義為

基于上述知識（參數含義見文獻4），在進行預處理時采用形態(tài)學開、閉混合重構運算Hbrec(f,g)，是建立在形態(tài)學開、閉重建基礎上的，稱為先開后閉的二次重構運算，計算公式為

現(xiàn)使用二次重構運算對圖像進行處理，如圖2所示.從圖2（c）發(fā)現(xiàn)二次重構可以平滑圖像，不會改變圖像中原有的結構，處理后的圖像邊緣沒有偏移.

圖2 開閉重構結果Fig.2 Quadratic reconstruction

2.2 灰度級背景差分運動區(qū)域凸顯

由于受圖像本身灰度分布和形態(tài)學運算的影響，在二次重構后，區(qū)域內部產生較多的極大值和極小值，形成沒意義的細小區(qū)域，影響后續(xù)的分割效果.本文創(chuàng)新性地引入灰度圖像背景差分運動區(qū)域提取方法[7]，對得到的重構圖像進行差分運算，清晰地凸顯出前景運動區(qū)域，銳化背景區(qū)域，為后期的標記做鋪墊.運算過程如下：

①平滑處理：對重建和背景圖像進行“鈍化對比度”增強濾波，處理過程為

式中Backgroundt(x,y)表示該時刻背景圖像；Dt(x,y)表示差分后的圖像.提取的前景如圖3所示.

③圖像修正：為了提高圖像質量，對差分后的圖像進行優(yōu)化處理，如增強其亮度imadjust(Dt(x,y))等操作，優(yōu)化結果如圖3（b）所示.

圖3 背景差分運動區(qū)域凸顯Fig.3 Background subtraction

2.3 區(qū)域標記提取

經過上述處理，雖然凸顯出了大部分目標區(qū)域，但還會存在一些與目標無關的區(qū)域，導致目標被分割為許多無意義的細小區(qū)域.在進行分水嶺變換前，本文采用內外標記提取方法，對前景目標和背景進行標記，有效地抑制和檢測與目標無關的點，避免過分割問題.

（1）內部區(qū)域標記提取.

由于前景對象灰度值與背景圖像灰度值存在較大差值，一般計算其局部極大值會得到較好的內部區(qū)域標記.對上節(jié)圖像的灰度值進行分析，提取出圖像Dt(x,y)的局部極大值[8]，對其進行標記，得到重建并差分后的局部極大值圖像RegionalMax(x,y)，如圖5（a）所示.

從圖5（a）發(fā)現(xiàn)由于受噪聲和背景的干擾，出現(xiàn)了很多與分割無關的細節(jié)，不能很好地標記前景目標.為了清晰地標記前景，作者對提取的局部極大值區(qū)域和其四周鄰域像素進行分析，發(fā)現(xiàn)目標像素與鄰域有很大差別的極大值.為了確定圖像中像素值比較大的區(qū)域，統(tǒng)計圖像中的“高點”集合，即計算局部極大區(qū)域的灰度值RegionalMax(Dt(x,y))與鄰域灰度值NL(Dt(x,y))有很大差值的極大值，消除一些不相關的局部極大值，使過分割的區(qū)域在很大程度上減少.計算公式為

式中Imark(x,y)是經過計算后獲得的標記圖像；T表示高度閾值；NL(Dt)表示鄰域像素；L表示連通性，一般L=8，表示8連接.該輸出圖像的前景像素標記了深局部最大區(qū)域的位置，相應的像素值用1標記，其他用0標記（如圖4所示）.

圖4 局部極大值標記Fig.4 Local maximum marker

在計算過程中，閾值T的取值是一個難點，過大則容易丟失深度較小的真實匯水盆地，導致欠分割，而過小對局部極大值的消除作用不明顯，不能抑制過分割.綜合考慮圖像灰度值信息，將待標記圖像劃分為大小為M×N的矩形塊Block(M×N)，逐塊進行分析，設定每塊的標記閾值Tj，標記結果如圖5（b）所示.從圖中看出前景目標得到了較好的標記，為更好地理解這個結果，在原圖的基礎上，用黑色標記前景區(qū)域，如圖5（c）所示.

圖5 內部標記Fig.5 Internal marker

（2）外部區(qū)域標記提取.

在獲得內部標記圖像Imark(x,y)后，必須尋找外部標記符（屬于背景的像素）.由于暗像素屬于背景，外部標記恰好位于內部標記符間的中間位置.因此，采用先閾值變換再距離變換后分水嶺分割的方法來標記外部區(qū)域.計算過程如下：

①二值化閾值變換：對重建后的灰度圖像進行閾值變換，計算公式為

②優(yōu)化處理：對得到的圖像進行優(yōu)化處理，主要有腐蝕imerode()、剔除噪聲bwareaopen()和填充imfill()等操作.

③距離變換：計算“骨架影響范圍”來“細化”背景，采用“準歐式”距離來做變換[8]，其邊界像素(a,b)和區(qū)域像素(m,n)之間的最小鄰域距離公式為

④分水嶺分割：距離變換后進行分水嶺變換，來尋找分水嶺分割脊線圖，背景標記IBmark(x,y)結果為

2.4 梯度修正和標記提取分水嶺變換

用內、外部標記的結果來修正梯度圖像，消除過分割問題.采用強制最小技術ImposeMin來修改灰度級梯度圖像[6]，以便局部最小區(qū)域僅出現(xiàn)在標記的位置，其他像素值將按需要“上推”，刪除其他的局部最小區(qū)域.修改過程如下：

①計算原梯度：采用橫、縱向Sobel算子分別對圖像進行“圓周均值濾波”，得到橫向梯度圖Ix、縱向梯度圖I 和梯度圖像I(x,y)，計算過程為

②修正梯度：通過在內、外部標記的位置覆蓋局部最小區(qū)域，來修改梯度圖像，修改過程為（如圖6所示）

③分水嶺變換：將修改后的梯度圖像進行分水嶺變換，得到分水嶺分割脊線圖L(x,y)=waterhed(Ig'radmag(x,y)).

圖6 梯度修正Fig.6 Gradient correction

2.5 算法流程

整個運動目標提取算法的步驟如下：

Step0初始化：讀取檢測視頻，設定圖像采集率n幀/s和視頻的總幀數N，for：t=1;t＜=N;t+=n,if：t＜=N轉至step1，否則轉至step7；

Step1圖像預處理：讀取第t幀圖像It(x,y)，將其轉化為灰度圖像rgb2gray(It(x,y))，采用線性濾波器進行平滑濾波，然后進行先開后閉的二次重建運算Reconstrcte()，得到重建后的灰度圖像轉至Step2；

Step2背景銳化和運動區(qū)域凸顯：讀取背景擬合函數，獲得檢測場景背景圖像，利用背景差分模型計算圖像運動區(qū)域，將場景背景銳化，進行優(yōu)化處理，轉至Step3；

Step3區(qū)域標記提取：對重建差分后的灰度圖像Dt(x,y)進行內外部區(qū)域標記提取，對得到的內部標記圖像和外部標記圖像進行優(yōu)化處理，轉至Step4；

Step4梯度修正：通過在內外部標記的位置覆蓋局部最小區(qū)域，來修改梯度圖像，獲得新的梯度圖像轉至Step5；Step5分水嶺變換：采用分水嶺算法分割修改后的梯度圖像，對其進行形態(tài)學優(yōu)化處理，得到分割圖L(x,y)，轉至Step6；

Step6運動目標提?。横槍\動目標特征設定約束條件來對分割后的圖像進行目標提取，獲得圖像目標的一些屬性（包括質心、輪廓等），轉至Step1；

Step7計算結束.

3 結果分析

為驗證該方法的有效性，使用C#和MATLAB混合編程開發(fā)了行人檢測系統(tǒng)，在Microsoft Visual C#2008平臺上編寫視頻采集系統(tǒng)客戶端及系統(tǒng)界面，檢測算法在MATLAB 2009b平臺上編寫，并采用北京南站西側進口處的視頻圖像進行測試.

（1）較多運動行人場景的目標分割.

為了分析該算法的性能優(yōu)勢，將采用傳統(tǒng)的分水嶺和平滑梯度的分水嶺法對采集的視頻圖像進行分割，如圖7所示.從圖7（b）發(fā)現(xiàn)這不是一個好的結果，圖像中存在太多與感興趣的對象不對應的分水嶺脊線，對真實目標的提取產生嚴重干擾.解決該問題的方法是在計算分水嶺前平滑梯度圖像，如圖7（c）所示，仍然存在額外的脊線，過分割還是很明顯.

圖7 傳統(tǒng)分水嶺法分割結果Fig.7 Traditional watershed results

本文結果如圖8所示，其中圖8（a）為重建后直接分水嶺分割結果，過分割現(xiàn)象明顯得到了緩和，但還是對目標提取造成干擾；圖8（b）為差分后分割的結果，這里已經較好地分割出了前景目標，但行人身體內部存在過分割問題；圖8（c）為前景標記后分水嶺變換結果，仔細看圖中較好地將前景提取出來了，行人身體內部沒有出現(xiàn)過分割現(xiàn)象，用輪廓標識出來，然而其背景造成了干擾；圖8（d）為背景標記分水嶺變換脊線圖，根據前景標記將整個場景分為多個區(qū)域；圖8（e）為內外部標記重疊結果，這里已經得到了較好的標識；圖8（f）為本文算法的最終結果，可以看出該結果較好地對圖像進行了分割，各區(qū)域的分割完整，圖像中的行人得到了較好的提取.與傳統(tǒng)的分水嶺法相比，本文方法得到的分割圖像邊界清晰，目標區(qū)域分割完整，提取準確，過分割現(xiàn)象被有效地抑制，說明該算法能夠較為準確地檢測前景目標.

（2）場景應用.

將提出的分割算法應用到行人檢測系統(tǒng)檢測目標，提取到行人的一些基本屬性.實驗采用北京南站西側進口處視頻圖像，分辨率為704× 576，幀率為每秒25幀，背景存在復雜運動.圖9為檢測結果，在檢測的同時標記出了行人輪廓和質心.圖9（a）為第50幀行人的檢測結果，在平面區(qū)域實際為17人，檢測結果17人，漏檢1個，多檢1個；圖9（b）為第250幀檢測的結果，實際為12人，檢測結果11人，漏檢2個，多檢1個.錯誤是由于陰影和重疊造成.

圖8 本文算法的實驗結果Fig.8 The experimental results of this paper

圖9 檢測結果Fig.9 Detection results

4 研究結論

針對傳統(tǒng)分水嶺法在目標提取過程中存在過分割問題，提出了一種融合背景差分的二次重構和內外標記分水嶺的目標檢測方法.該方法為了抑制和清除待處理圖像中引起的過分割現(xiàn)象，在分割前引入二次重構、背景差分運動區(qū)域檢測及內外部區(qū)域標記技術進行圖像預處理，在此基礎上對梯度圖像進行修正和分水嶺變換，準確地提取出交通場景中運動的行人，并采用北京南站視頻圖像進行校核檢驗.結果表明，該方法能在保證實時檢測的同時，更好地提取運動目標輪廓，能顯著地去除運動噪聲的影響，很好地抑制了過分割問題.然而，當行人密度很大時，出現(xiàn)行人與行人重疊擠壓時，存在漏檢，后續(xù)將對此展開研究.

[1]邵春福,李娟,趙熠.行人交通的視頻檢測方法綜述[J].交通運輸系統(tǒng)工程與信息,2008,8(4):23-29. [SHAO C F,LI J,ZHAO Y.Review of pedestrian traffic data collection method based on video image processing [J].Journal of Transportation Systems Engineering and Information Technology,2008,8(4):23-29.][2]楊高波,杜青松,MATLAB圖像/視頻處理應用及實例[M].北京:電子工業(yè)出版社,2010,1.[YANG G B,DU Q F.MATLAB image/video processing applications and examples[M].Beijing:Publishing House of Electronics Industry,2010,1.]

[3]L Vincent，P Soille.Watersheds in digital spaces:an ef?ficient algorithm based on immersion simulations[J]. IEEE Transactions on Pattern Analysis and Machine In?telligence,1991,13(6):583-598.

[4]蔡子文,費向東.基于標記的數學形態(tài)學濾波分水嶺算法[J].計算機技術與發(fā)展,2013,22(3):38-44.[CAI Z W,FEI X D.Mathematical-morphological watershed algorithm based on marking[J].Compute Technology and Development,2013,22(3):38-44.]

[5]王宇,陳殿仁,沈美麗.基于形態(tài)學梯度重構和標記提取的分水嶺圖像分割[J].中國圖像圖形學報,2008,13 (11):2176-2180.[WANG Y,CHEN D R,SHEN M L. Watershed segmentation based on morphological gradi?ent reconstruction and marker extraction[J].Journal of Image and Graphics,2008,13(11):2176-2180.]

[6]Rafael C Gonzalez,Richard E Woods,Steven L Eddins. Digital image processing using MATLAB[M].Beijing: Publishing House of Electronics Industry,2005,9.

[7]尹彪.基于視頻圖像處理的鐵路客運站客流識別系統(tǒng)研究與實現(xiàn)[D].北京交通大學,2012,6.[YIN B.The research and implementation of system for passenger recognition based on video image processing in railway passenger station[D].Beijing Jiaotong University,2012, 6.]

[8]王愛玲,葉明生,鄧秋香,MATLAB R2007圖像處理技術與應用[M].北京:電子工業(yè)出版社,2008,1. [WANG A L,YE M S,DENG Q X.MATLAB R2007 im?age processing technology and application[M].Beijing: Publishing House of Electronics Industry,2008,1.]

Pedestrian Detection of Integrating BS Based on Quadratic Reconstruction and IE Marker Watershed

WANGAi-li,DONG Bao-tian,WANG Ze-sheng
(School of Traffic and Transportation,Beijing Jiaotong University,Beijing 100044,China)

ract:Pedestrian detecting is an important part of Intelligent Transportation Systems(ITS)application. To accurately refine traffic information,the paper proposes pedestrian detection method of Integrating background subtraction(BS)based on quadratic reconstruction and internal and external(IE)marker watershed. First,the morphological quadratic reconstruction is used to denoise and filter,and the BS is carried to highlight prospect and sharpen background.Then,the internal mark is extracted according to the integrated information of gray image local maximum value and neighborhood value,the“Quasi-Euclidean”transformation is conducted to extract external marks;Finally,the gradient image is modified and watershed transform is employed to segment gradient image corrected for which extracts movement pedestrians.The results shows that this method significantly eliminates motion noise,targets are completely detected and the over-segmentation problem is effectively remitted.Furthermore,the pedestrian detection in dynamic traffic scene has achieved better results.

rds:Intelligent transportation;quadratic reconstruction;background subtraction;internal and external marker;watershed;pedestrian detection

1009-6744（2014）04-0066-07

U298.2

A

2013-11-12

2014-02-19錄用日期：2014-02-24

國家863計劃項目(2009 AA11Z207)；博士科研基金（20110009110011）.

王愛麗（1987-），女，甘肅白銀人，博士生. *

btdong@bjtu.edu.cn