統(tǒng)計(jì)差分與自啟動(dòng)的Camshift跟蹤算法

劉俠，陶冶，邢春

(哈爾濱理工大學(xué)自動(dòng)化學(xué)院，黑龍江哈爾濱 150080)

統(tǒng)計(jì)差分與自啟動(dòng)的Camshift跟蹤算法

劉俠，陶冶，邢春

(哈爾濱理工大學(xué)自動(dòng)化學(xué)院，黑龍江哈爾濱 150080)

傳統(tǒng)的CamShift算法具有很好的實(shí)時(shí)性，但無(wú)法實(shí)現(xiàn)自啟動(dòng)，且在跟蹤過(guò)程中易受噪聲和顏色變化的干擾，針對(duì)這些缺點(diǎn)，提出了一種改進(jìn)的Camshift算法.首先運(yùn)用統(tǒng)計(jì)差分算法對(duì)移動(dòng)目標(biāo)快速定位，得到初始前景對(duì)象的區(qū)域，然后通過(guò)統(tǒng)計(jì)前景區(qū)域獲取精確的目標(biāo)顏色直方圖模型并以此區(qū)域?yàn)樵陀?jì)算膚色直方圖的查詢(xún)表.同時(shí)結(jié)合一些后續(xù)步驟成功實(shí)現(xiàn)了算法的自啟動(dòng).最后用實(shí)驗(yàn)驗(yàn)證了借助統(tǒng)計(jì)差分與目標(biāo)顏色直方圖模型的CamShift算法能夠?qū)崿F(xiàn)自啟動(dòng)并提高Camshift算法跟蹤時(shí)的準(zhǔn)確度.

CamShift算法;背景統(tǒng)計(jì);目標(biāo)跟蹤;目標(biāo)掩膜

對(duì)視頻序列中感興趣的目標(biāo)進(jìn)行有效地跟蹤定位，并進(jìn)一步對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行分析，可以應(yīng)用于安全監(jiān)控、虛擬現(xiàn)實(shí)、人機(jī)交互等許多領(lǐng)域，具有較高的學(xué)術(shù)價(jià)值和理論意義，是目前計(jì)算機(jī)視覺(jué)中最重要最活躍的課題之一.

國(guó)外的目標(biāo)跟蹤的研究起步比較早.美國(guó)的國(guó)防高級(jí)研究項(xiàng)目署設(shè)立了以卡內(nèi)基·梅隆大學(xué)為主，麻省理工學(xué)院等高校參加的視頻監(jiān)控重大項(xiàng)目VSAM，研究和發(fā)展自動(dòng)視頻理解技術(shù)，可以方便地監(jiān)測(cè)復(fù)雜的背景.美國(guó)的馬里蘭大學(xué)與IBM公司一起研制的視頻監(jiān)控系統(tǒng)是基于背景模型的動(dòng)態(tài)目標(biāo)檢測(cè)算法.該系統(tǒng)能對(duì)人的外表進(jìn)行模型建造，從而在戶(hù)外完成對(duì)人的檢測(cè)和跟蹤［1］.

國(guó)內(nèi)的運(yùn)動(dòng)目標(biāo)跟蹤的研究起步較晚.清華大學(xué)圖形圖像研究所研制的視覺(jué)偵查系統(tǒng)，可在野外環(huán)境中使用，系統(tǒng)實(shí)現(xiàn)了運(yùn)動(dòng)目標(biāo)檢測(cè)、跟蹤和全景圖生成等功能.東南大學(xué)多媒體技術(shù)工程研究中心申請(qǐng)了“四畫(huà)面圖像采集智能監(jiān)控方法”發(fā)明專(zhuān)利，目前主要研究人臉的自動(dòng)識(shí)別［1］.

現(xiàn)有的運(yùn)動(dòng)物體跟蹤與識(shí)別算法有以下幾種:基于輪廓檢測(cè)、基于灰度分布、基于塊特征及基于色彩信息等.近年來(lái)，基于CamShift(continuously adaptive meanshift)的跟蹤算法憑借其在實(shí)時(shí)性和魯棒性方面良好的表現(xiàn)，正受到越來(lái)越多的關(guān)注.Cam－Shift算法是 Bradski在MeanShift算法的基礎(chǔ)上于1998 年提出的［2－4］.該算法是一種非參數(shù)方法，它是通過(guò)聚類(lèi)的方式搜尋運(yùn)動(dòng)目標(biāo)，利用區(qū)域內(nèi)的顏色信息對(duì)目標(biāo)進(jìn)行跟蹤，可以有效地解決目標(biāo)變形和遮擋的問(wèn)題，并且運(yùn)算效率較高［5］.將 CamShift跟蹤算法與背景統(tǒng)計(jì)幀差等多種算法相結(jié)合，在確保匹配速率的前提下，充分提高目標(biāo)跟蹤的準(zhǔn)確性，并用實(shí)驗(yàn)進(jìn)行了驗(yàn)證.

1 CamShift跟蹤算法

1.1 顏色概率分布

RGB顏色空間對(duì)光照亮度變化比較敏感，為了減少此變化對(duì)跟蹤效果的影響，CamShift算法首先將圖像從RGB顏色空間轉(zhuǎn)換到HSV顏色空間.HSV顏色空間把顏色表示成色度H、飽和度S、亮度V 3個(gè)分量，由于它們相互獨(dú)立，能夠提高算法的穩(wěn)定性.再選擇HSV顏色空間H分量建立目標(biāo)直方圖，設(shè){xi}=1，2，…，n為目標(biāo)圖像的像素坐標(biāo)，目標(biāo)直方圖表示為［4］

將原始圖像的像素用直方圖中相應(yīng)像素的統(tǒng)計(jì)量所代替，然后將得到的結(jié)果重新量化，就得到顏色概率分布圖.

1.2 CamShift算法

CamShift算法利用目標(biāo)的顏色特征在視頻圖像中找到運(yùn)動(dòng)目標(biāo)所在的位置和大小，在下一幀視頻圖像中，用運(yùn)動(dòng)目標(biāo)當(dāng)前的位置和大小初始化搜尋窗口，重復(fù)這個(gè)過(guò)程就可以實(shí)現(xiàn)對(duì)目標(biāo)的連續(xù)跟蹤［6］.對(duì)離散概率分布，其算法實(shí)現(xiàn)過(guò)程如下［7］.

1)在顏色概率分布圖中手動(dòng)選取大小為S的搜索窗W.

2)計(jì)算零階矩:

計(jì)算x和y的一階矩:

式中:I(x，y)是坐標(biāo)為(x，y)的像素值，x和y的變化范圍為搜索窗的范圍.

3)計(jì)算搜索窗的質(zhì)心為(xc，yc):

4)調(diào)整窗口的中心到質(zhì)心位置.

5)在新的窗口中重復(fù)2)～4)直到收斂(質(zhì)心變化小于給定的閾值).

零階矩反映了目標(biāo)在圖像中的面積，顏色概率分布圖是最大值為255的離散的灰度圖像，由此，設(shè)置搜索窗的大小S和Z00的關(guān)系為

考慮對(duì)稱(chēng)性，S取接近計(jì)算結(jié)果的奇數(shù).

通過(guò)計(jì)算二階矩，可得到被跟蹤目標(biāo)的長(zhǎng)軸、短軸和方向角.二階矩為

目標(biāo)長(zhǎng)軸的方向角為

圖像中目標(biāo)長(zhǎng)軸和短軸的長(zhǎng)度可以按式(1)、(2)計(jì)算:

2 改進(jìn)方法

傳統(tǒng)的CamShift算法在目標(biāo)跟蹤中有幾大優(yōu)勢(shì):首先是算法計(jì)算量不大，在目標(biāo)區(qū)域已知的情況下完全可以做到實(shí)時(shí)跟蹤;其次，作為一個(gè)無(wú)參數(shù)密度估計(jì)算法，很容易作為一個(gè)模塊與其他算法集成;另外，采用直方圖建模，對(duì)邊緣遮擋、目標(biāo)旋轉(zhuǎn)、變形和背景運(yùn)動(dòng)不敏感［8］.

但隨之產(chǎn)生了一些缺點(diǎn)，如:無(wú)法自啟動(dòng)程序，需要手確定目標(biāo)區(qū)域和跟蹤;對(duì)場(chǎng)景中顏色變化敏感和對(duì)顏色噪聲干擾不能很好地免疫.對(duì)此提出了一條由粗到精的目標(biāo)顏色特征提取辦法:首先通過(guò)差分累計(jì)圖像背景得到目標(biāo)的大致位置區(qū)域和初始掩膜，隨后再累計(jì)這些初始掩膜，得到完整而可靠的目標(biāo)顏色特征描述.并結(jié)合后序處理使程序自動(dòng)啟動(dòng)，無(wú)需人工干預(yù).這大大提高了CamShift算法的精度、穩(wěn)健度和實(shí)用性［9］.

2.1 累積背景圖像差分并二值化掩膜

由于系統(tǒng)在室外日光下拍攝，圖像帶有大量隨機(jī)噪聲，為了提高信噪比，利用目標(biāo)出現(xiàn)前的多幀圖像構(gòu)造均值背景.目標(biāo)的特征掩膜提取分為4步［10］.

1)圖像在采集過(guò)程中會(huì)帶入大量隨機(jī)噪聲，假定這些噪聲是非相關(guān)的，那么就可以利用多幀圖像構(gòu)造均值背景，通過(guò)相同條件下拍攝的多幀圖像取平均而降低和消除噪聲，該方法有效提高了圖像信噪比，并從累積的幀差信息中構(gòu)建出完整、可靠的背景區(qū)域，所用公式如式(3):

2)通過(guò)將當(dāng)前圖像幀和累積均值背景模型進(jìn)行比較，確定出亮度變化較大的區(qū)域，即認(rèn)為是前景區(qū)域，這樣就得到了目標(biāo)的大致位置區(qū)域.在此步中，還進(jìn)行了高斯濾波去噪.

3)得到差分圖像之后，通過(guò)類(lèi)間最大方差閾值法［11］自適應(yīng)求出一個(gè)分割閾值T進(jìn)行二值化，分割出前景區(qū)域，并對(duì)二值化的圖像進(jìn)行形態(tài)學(xué)腐蝕、膨脹處理.分割后圖像:

經(jīng)過(guò)前3步的處理，大大抑制了非目標(biāo)特征噪聲點(diǎn)的產(chǎn)生，顯著降低了后續(xù)處理的復(fù)雜度，從而減少了噪聲的干擾，增強(qiáng)了準(zhǔn)確性.至此，得到了非常精確的二值化掩膜.

4)將前面得到的二值化掩膜與相應(yīng)幀圖像相應(yīng)位置的像素值進(jìn)行“與”操作后，即可得到初始目標(biāo)掩膜.

得到的部分重要結(jié)果如圖1、2所示.

圖1 差分后前景圖像Fig.1 Foreground image differentiated

圖2 高斯濾波后前景圖像Fig.2 Foreground image after Gauss filtering

2.2 累積特征量提高顏色直方圖查詢(xún)表的精度

CamShift算法是基于顏色特征的，總體來(lái)說(shuō)是一種比較弱的特征表述，所以需要對(duì)目標(biāo)特征描述全面而準(zhǔn)確，這對(duì)CamShift目標(biāo)跟蹤算法的精度和穩(wěn)健度至關(guān)重要［12－16］.而此前所得到的初始掩膜雖然可以比較精確地確定目標(biāo)的顏色特征，但此時(shí)的特征只對(duì)當(dāng)前幀具有代表性，而并不能準(zhǔn)確地得到和描述每一幀目標(biāo)的特征和變化.對(duì)此，亦采用累積前m幀非零量統(tǒng)計(jì)方法進(jìn)行多幀像素值累積，從而達(dá)到較全面描述目標(biāo)顏色特征的目的.對(duì)初始掩膜序列進(jìn)行m幀累積，得到平滑后的累積顏色特征為

用此累積后的顏色特征h來(lái)描述顏色直方圖查詢(xún)表，可以降低單幀目標(biāo)掩膜中噪點(diǎn)和背景顏色對(duì)目標(biāo)的干擾，大大提高了顏色直方圖查詢(xún)表的精度.從而獲得較好的跟蹤特性和抗干擾性.

2.3 自啟動(dòng)跟蹤

通過(guò)前面的步驟，已經(jīng)得到精確的顏色直方圖查詢(xún)表，接下來(lái)所要做的就是確定目標(biāo)的中心點(diǎn)和跟蹤框的大小，這樣就可以順利啟動(dòng)CamShift算法了.在第m－1幀中，已經(jīng)得到二值化后的圖像.再在這個(gè)圖像中計(jì)算CamShift初始化搜索窗的中心和大小，對(duì)其進(jìn)行如下處理.首先對(duì)第m－1幀二值化圖像進(jìn)行Canny邊緣檢測(cè)(結(jié)果如圖4所示)，設(shè)J為運(yùn)動(dòng)邊緣點(diǎn)的集合，中心為σ(wu，wv)，則

圖3 形態(tài)學(xué)處理后前景圖像Fig.3 Foreground image after morphological disposal

B(x，y)為邊緣檢測(cè)后圖像中坐標(biāo)(x，y)的像素的灰度值，通過(guò)實(shí)驗(yàn)表明，σ(wu，wv)很接近目標(biāo)的中心.以σ(wu，wv)為中心，以2.5d為邊長(zhǎng)，得到一個(gè)正方形區(qū)域，此區(qū)域中包括J中的大部分點(diǎn).這個(gè)區(qū)域即為初始化搜索窗的位置，2.5d即為搜索窗的大小.

3 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證改進(jìn)后算法的性能，對(duì)實(shí)驗(yàn)者進(jìn)行了左右平移、前后平移以及自啟動(dòng)等實(shí)驗(yàn)，并且對(duì)跟蹤過(guò)程中出現(xiàn)大面積類(lèi)膚色干擾也做了相應(yīng)的實(shí)驗(yàn)，在圖4和圖5中給出了部分跟蹤效果.在實(shí)驗(yàn)中采用靜止背景建立背景模型.

圖4 Canny邊緣檢測(cè)結(jié)果Fig.4 Canny edge detection result

圖5 改進(jìn)前的跟蹤效果Fig.5 Tracking result before improvement:the frame 10，24，51，and 103 are shown

由于原算法只采用顏色模型，它是一種比較弱的目標(biāo)特征描述，而傳統(tǒng)算法中只采取某一幀的感興趣區(qū)域作為描述的目標(biāo)顏色特征，其中存在大量的噪點(diǎn)，從而使顏色查詢(xún)表不準(zhǔn)確，最終導(dǎo)致概率分布圖的不精確和跟蹤的失敗.傳統(tǒng)算法的跟蹤效果如圖5所示.采用背景和目標(biāo)顏色相似的一組視頻作為實(shí)驗(yàn)對(duì)象，當(dāng)?shù)?幀自啟動(dòng)后，第10幀由于與初始幀相鄰緊密，算法還能很好地跟蹤目標(biāo)，但是隨著幀數(shù)的增大，跟蹤框開(kāi)始逐漸地發(fā)散，并將大量的背景色納入其中.從圖中可以看出，當(dāng)?shù)降?1幀時(shí)跟蹤框已基本偏離目標(biāo)而偏向于背景，到103幀，跟蹤框已完全收斂于背景，從而導(dǎo)致跟蹤的失敗.

而改進(jìn)后的算法通過(guò)改進(jìn)和精確目標(biāo)的本質(zhì)顏色特征信息和降低目標(biāo)區(qū)域中的噪聲，很好地定位了目標(biāo)，并實(shí)現(xiàn)了對(duì)目標(biāo)的有效跟蹤和防止跟蹤框發(fā)散(如圖5所示).顯然，改進(jìn)后的算法抗干擾能力明顯增強(qiáng)，準(zhǔn)確度明顯提高.

啟動(dòng)幀如圖6(b)所示.由于計(jì)算后啟動(dòng)框的大小已超出邊界，所以對(duì)其寬度進(jìn)行了修正，變?yōu)樵瓉?lái)的1/5，同時(shí)將左邊框設(shè)為0點(diǎn).因?yàn)椴⒎轻槍?duì)此區(qū)域生成顏色查詢(xún)表，而是用前面所述的統(tǒng)計(jì)量生成顏色查詢(xún)表，所以并未對(duì)跟蹤產(chǎn)生根本影響.

圖6 改進(jìn)后的跟蹤效果Fig.6 Tracking result after improvement:the frame 10，24，51，and 103 are shown

圖7 統(tǒng)計(jì)背景和啟動(dòng)幀F(xiàn)ig.7 Statistical background and startup frame

4 結(jié)束語(yǔ)

本文提出了一種基于統(tǒng)計(jì)背景和統(tǒng)計(jì)顏色的改進(jìn)CamShift算法.對(duì)于固定背景的攝像頭或視頻文件輸入，首先運(yùn)用背景統(tǒng)計(jì)算法從累計(jì)的幀差信息中構(gòu)建出完整、可靠的背景區(qū)域，并將其與當(dāng)前幀相比較，得到初始前景對(duì)象的感興趣區(qū)域，以此區(qū)域?yàn)榛A(chǔ)累積計(jì)算顏色直方圖的精確查詢(xún)表，從而在很大程度上提高了跟蹤的準(zhǔn)確性.并且借助二值化前景圖像、重心公式以及類(lèi)內(nèi)離散度成功地啟動(dòng)了CamShift算法.

［1］楊振興.基于 DM642的Camshift目標(biāo)跟蹤算法研究［D］. 南京:南京理工大學(xué)，2010:15－23.

YANG Zhenxing.Research of Camshift tracking algorithm based on DM642［D］.Nanjing:Nanjing University of Science，2010:15－23.

［2］COMANICIU D，RAMESH V，MEER R.Real－time tracking of non－rigid objects using mean shift［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Dublin，Ireland，2000，2:142－149.

［3］BRADSKI G R.Computer vision face tracking for use in aperceptual user interface［J］.Intel Technology Journal，1998，2:214－219.

［4］COMANICIU D，RAMESH V，MEER P.Kernel based object tracking［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2003，25(5):564－575.

［5］董蓓，謝勤嵐，賈茜.基于CamShift算法的運(yùn)動(dòng)目標(biāo)實(shí)時(shí)跟蹤系統(tǒng)［J］.自動(dòng)化技術(shù)，2008，19:116－118.

DONG Bei，XIE Qinlan，JIA Xi.Real－time tracking system of moving object based on Camshift algorithm［J］.Automation Technology，2008，19:116－118.

［6］劉雪，常發(fā)亮，王華杰.基于改進(jìn)Camshift算法的視頻對(duì)象跟蹤方法［J］.微計(jì)算機(jī)信息，2007(23):297－299.

LIU Xue，CHANG Faliang，WANG Huajie.Video object tracking method based on improved Camshift algorithm［J］.Computer Information，2007(23):297－299.

［7］LIU Qiang，CAI Canhui，KING N N，LI Hongliang.Cam－Shift based real－time multiple faces match tracking［C］//Proceedings of 2007 International Symposium on Intelligent Signal Processing and Communication Systems.Hong Kong:Chinese Univ of Hong Kong，2007:726－729.

［8］WANG Zhaowen，YANG Xiaokang，XU Yi，YU Songyu.CamShift guided particle filter for visual tracking［C］//IEEE Xplore，2007:301－306.

［9］朱勝利.Mean Shift及相關(guān)算法在視頻跟蹤中的研究［D］.杭州:浙江大學(xué)，2006:43－54.

ZHU Shengli.Research of Mean Shift and related algorithms in the video tracking［D］.Hangzhou:Zhejiang University，2006:43－54.

［10］魏旭賓，王向軍.基于累積差分圖像和高斯背景統(tǒng)計(jì)模型的煙塵目標(biāo)檢測(cè)［J］.宇航計(jì)測(cè)技術(shù)，2007(2):59－61.

WEI Xubin，WANG Xiangjun.Smoke target detection based on the cumulative difference image and Gaussian background statistical model［J］.Metrology and Measurement，2007(2):59－61.

［11］NOBUYUKI OTSU.A threshold selection method from gray level histogram［J］.IEEE Transactions on Systems，Man and Cybernetics，2008，9(1):62－65.

［12］吳勃，許文芳，陳虹麗.神經(jīng)滑?？刂圃跈C(jī)器人軌跡跟蹤中的應(yīng)用［J］.電機(jī)與控制學(xué)報(bào)，2009，13(增1):99－105.

WU Bo，XU Wenfang，CHEN Hongli.Application of neural networks sliding－mode control in tracking control of robot manipulators［J］.Electric Machines and Control，2009，13(suppl 1):99－105.

［13］汪語(yǔ)哲，史小平，朱胤.抑制閃爍噪聲的SMM－IUKF目標(biāo)跟蹤算法［J］.哈爾濱理工大學(xué)學(xué)報(bào)，2010，15(5):69－75.

WANG Yuzhe，SHI Xiaoping，ZHU Yin.A SMM－IUKF tracking method against target glint［J］.Journal of Harbin University of Science and Technology，2010，15(5):69－75.

［14］蔡春波，張華軍，張義順，劉立君.基于視覺(jué)傳感器焊縫跟蹤軌跡自示教方法研究［J］.哈爾濱理工大學(xué)學(xué)報(bào)，2009，14(2):95－97.

CAI Chunbo，ZHANG Huajun，ZHANG Yishun，LIU Lijun.Investigation on seam tacking path self－teaching method based on visual sensor［J］.Journal of Harbin University of Science and Technology，2009，14(2):95－97.

［15］張麗麗，王建民.太陽(yáng)位置光電模擬信號(hào)檢測(cè)跟蹤的實(shí)現(xiàn)［J］. 自動(dòng)化技術(shù)與應(yīng)用，2010，29(9):40－43.

ZHANG Lili，WANG Jianmin.Implementation of the sun’s position photoelectricity analog signal detecting and tracking［J］.Techniques of Automation and Applications，2010，29(9):40－43.

［16］白一鳴，孟憲堯.基于FPGA的太陽(yáng)能自動(dòng)跟蹤控制系統(tǒng)［J］. 自動(dòng)化技術(shù)與應(yīng)用，2009，28(9):26－29.

BAI Yiming，MENG Xianyao.A FPGA－based tracking system of the solar panel［J］.Techniques of Automation and Applications，2009，28(9):26－29.

劉俠，男，1975年生，碩士生導(dǎo)師，主要研究方向?yàn)閳D像處理與模式識(shí)別.

陶冶，男，1986年生，碩士研究生，主要研究方向?yàn)槿四樧R(shí)別.

邢春，男，1986年生，碩士研究生，主要研究方向?yàn)樯锾卣骷用芘c圖像檢索.

An objective tracking Camshift algorithm based on automatic startup and the statistical differential method

LIU Xia，TAO Ye，XING Chun
(School of Automation，Harbin University of Science and Technology，Harbin 150080，China)

The camshift tracking algorithm has the advantage of better real－time characteristics，but it is not able to start up automatically and is susceptible to noise and color change in the tracking process.In order to solve these problems，an improved Camshift algorithm was proposed.First，a statistical difference algorithm was applied for rapid localization of mobile targets，and the initial foreground object＇s region was obtained.Then，an accurate target color histogram model was obtained by gathering foreground area statistics.The query table of the skin color histogram was also calculated taking this area as a prototype.Meanwhile，an auto－start algorithm was successfully achieved with several subsequent steps.Finally，the algorithm was validated through experiments.

CamShift algorithm;background statistics;object tracking;object masking

TP391

A

1673－4785(2011)04－0355－05

10.3969/j.issn.1673－4785.2011.04.013

2010－07－18.

黑龍江省自然科學(xué)基金資助項(xiàng)目(F2007－13);黑龍江省普通高等學(xué)校青年學(xué)術(shù)骨干支持計(jì)劃資助項(xiàng)目(1155G21).

陶冶.E－mail:taoye8882@163.com.

book=4,ebook=108