基于直方圖匹配的圖像抖動(dòng)消除算法

鄭來(lái)芳

（太原工業(yè)學(xué)院電子工程系，山西太原030003）

基于直方圖匹配的圖像抖動(dòng)消除算法

鄭來(lái)芳

（太原工業(yè)學(xué)院電子工程系，山西太原030003）

基于圖像差分算法的運(yùn)動(dòng)目標(biāo)檢測(cè)中，固定好的攝像頭在受到重型車(chē)輛駛過(guò)、強(qiáng)風(fēng)等因素影響下，所拍攝到的圖像仍會(huì)出現(xiàn)抖動(dòng)，而圖像抖動(dòng)對(duì)提取圖像中的運(yùn)動(dòng)目標(biāo)干擾非常大。本文設(shè)計(jì)了一種基于預(yù)先劃定一個(gè)或多個(gè)目標(biāo)匹配區(qū)域的顏色直方圖匹配算法，通過(guò)分析和比較抖動(dòng)前后兩幅圖像目標(biāo)區(qū)域和候選區(qū)域顏色直方圖的相似度，找到最優(yōu)匹配塊并得到對(duì)應(yīng)塊運(yùn)動(dòng)位移，從而求出兩幅圖像的絕對(duì)運(yùn)動(dòng)位移，最后消除干擾位移。實(shí)驗(yàn)結(jié)果表明，該算法魯棒性好，能夠準(zhǔn)確消除抖動(dòng)位移給運(yùn)動(dòng)目標(biāo)檢測(cè)帶來(lái)的干擾。

抖動(dòng)干擾；運(yùn)動(dòng)目標(biāo)檢測(cè)；圖像差分；顏色直方圖匹配

計(jì)算機(jī)視覺(jué)與圖像處理技術(shù)的研究已經(jīng)成為科學(xué)和工程領(lǐng)域的一項(xiàng)重要內(nèi)容，而運(yùn)動(dòng)目標(biāo)的檢測(cè)與跟蹤是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)重要研究方向[1-5]。目前，已有的運(yùn)動(dòng)目標(biāo)檢測(cè)方法按照算法的基本原理可以分為三類(lèi)：幀間差分法、背景減除法和光流法。其中幀間差分法、背景減除法因?yàn)樗惴▽?shí)現(xiàn)簡(jiǎn)單，程序設(shè)計(jì)復(fù)雜度低，效率高，效果好而被廣泛應(yīng)用。

然而，圖像抖動(dòng)的干擾會(huì)嚴(yán)重影響這兩種算法，甚至?xí)斐伤惴ㄊА２捎迷黾宇~外設(shè)備來(lái)穩(wěn)定攝像頭，如利用加速度傳感器、圖像穩(wěn)定器、濾鏡等來(lái)消除圖像抖動(dòng)，效率低，成本高，應(yīng)用環(huán)境也有限。因此在運(yùn)動(dòng)目標(biāo)檢測(cè)中，提出了利用軟件來(lái)消除圖像抖動(dòng)[6-8]。軟件消除圖像抖動(dòng)過(guò)程包括：運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)位移補(bǔ)償，而運(yùn)動(dòng)估計(jì)是其中的關(guān)鍵。

目前用來(lái)做運(yùn)動(dòng)估計(jì)[9-11]的方法主要有基于圖像的塊匹配方法、基于光流的方法和基于特征匹配的方法。后兩種方法復(fù)雜耗時(shí)，在實(shí)際中應(yīng)用較少。本文根據(jù)運(yùn)動(dòng)目標(biāo)實(shí)際情況預(yù)先劃定合適的匹配區(qū)域，以及直方圖直觀(guān)反映像素值概率分布的特性，設(shè)計(jì)了一種新的運(yùn)動(dòng)估計(jì)方法，即基于預(yù)先劃定區(qū)域內(nèi)進(jìn)行直方圖匹配，通過(guò)分析和比較抖動(dòng)前后兩幅圖像在預(yù)先劃定區(qū)域內(nèi)顏色直方圖的相似度，找到最優(yōu)匹配塊并得到對(duì)應(yīng)塊運(yùn)動(dòng)位移，從而求出兩幅圖像的絕對(duì)運(yùn)動(dòng)位移，最后消除干擾位移。

1 直方圖匹配算法

顏色直方圖，是將圖像中的目標(biāo)區(qū)域內(nèi)的像素提取出來(lái)，對(duì)像素R、G、B三個(gè)顏色通道信息進(jìn)行某種關(guān)系的映射，然后統(tǒng)計(jì)映射后的概率分布，建立R、G、B三通道的直方圖模型。直方圖匹配是通過(guò)對(duì)不同區(qū)域建立相應(yīng)的直方圖模型，依照匹配策略尋找到與目標(biāo)模型匹配度最高的區(qū)域。

1.1 目標(biāo)區(qū)域內(nèi)顏色直方圖模型的建立

如圖1所示為抖動(dòng)前后的兩張圖片，藍(lán)色方框和綠色方框區(qū)域?yàn)轭A(yù)先劃定的兩塊面積、位置一致的匹配區(qū)域，本文建立目標(biāo)區(qū)域的顏色直方圖模型具體步驟為：

a)建立R、G、B三個(gè)一維直方圖：像素的R、G、B值范圍為0～255，出于計(jì)算速度和匹配精度考慮，直方圖組距設(shè)為16，再對(duì)目標(biāo)區(qū)域每個(gè)像素R、G、B顏色通道信息的進(jìn)行統(tǒng)計(jì)，產(chǎn)生三個(gè)一維直方圖模型，每維16組。

b)歸一化直方圖：三個(gè)一維直方圖中各組值分別設(shè)HR(i)、HG(i)、HB(i)，i=0,1,2,3…15，找出每維最大值HRmax、HGmax、HBmax，進(jìn)行歸一化操作，并以建立一維灰度直方圖類(lèi)似的操作來(lái)產(chǎn)生三維直方圖，定義如下：

其中H(k)∈[0,1],k=0,1,2,...47，H(k)表示的是新建立一維直方圖中各組的組值。如圖2所示，這樣建立類(lèi)似一維的匹配關(guān)系，完全滿(mǎn)足三維函數(shù)的特性，各顏色通道間的相關(guān)性好，復(fù)雜度低，匹配精確。

圖1 抖動(dòng)前后兩張圖片

圖2 經(jīng)過(guò)歸一化后的一維顏色直方圖

1.2 圖像直方圖分布特征相似性測(cè)量方法及評(píng)價(jià)參數(shù)

目標(biāo)模型與候選目標(biāo)相似度由相似性函數(shù)來(lái)度量，相似性函數(shù)定義了目標(biāo)模型與候選目標(biāo)之間的距離。在統(tǒng)計(jì)學(xué)中，巴氏距離（巴塔恰里雅距離/Bhattacharyya distance）用于測(cè)量的是兩個(gè)離散或連續(xù)概率分布的相似性,在直方圖相似度計(jì)算時(shí)，巴氏距離獲得的效果也非常好。因此本文采用巴氏距離來(lái)測(cè)量?jī)深伾狈綀D分布之間的相似度：

其中，H1，H2表示的兩個(gè)一維直方圖,H1(k)、H2(k)表示的是一維直方圖中各組的組值，兩直方圖完全匹配dBhattachayya=0,完全不匹配dBhattachayya=1。

2 抖動(dòng)干擾去除方法在運(yùn)動(dòng)目標(biāo)檢測(cè)中的應(yīng)用

攝像頭抖動(dòng)干擾是對(duì)室內(nèi)智能視頻監(jiān)控中運(yùn)動(dòng)目標(biāo)檢測(cè)的準(zhǔn)確性是一個(gè)巨大的挑戰(zhàn)，本文正是針對(duì)室內(nèi)環(huán)境下攝像頭抖動(dòng)干擾問(wèn)題開(kāi)展研究的。

2.1 預(yù)先劃定合適的圖像匹配區(qū)域

針對(duì)室內(nèi)環(huán)境中很少存在大量運(yùn)動(dòng)物體，且攝像頭抖動(dòng)一般只造成圖像水平和垂直方向的運(yùn)動(dòng)的特點(diǎn)，本文提出了兩種方法來(lái)劃定匹配區(qū)域。第一種：利用預(yù)先劃定不包含運(yùn)動(dòng)物體，且顏色特征明顯的區(qū)域作為匹配區(qū)域，如圖3(a)和圖3(b)所示；第二種：對(duì)于監(jiān)控區(qū)域內(nèi)始終存在運(yùn)動(dòng)物體，或者不包含運(yùn)動(dòng)物體的區(qū)域顏色特征不明顯（如圖3(c)紅框區(qū)域所示，顏色直方圖匹配效果差）的情況，一般需要?jiǎng)澏ㄏ鄬?duì)距離遠(yuǎn)的兩塊作為匹配區(qū)域（通常選取圖像四個(gè)邊角中的兩個(gè)）。若監(jiān)控環(huán)境始終有多個(gè)運(yùn)動(dòng)目標(biāo)，可能會(huì)出現(xiàn)兩個(gè)目標(biāo)匹配區(qū)域都被運(yùn)動(dòng)物體遮掩的情況，故可設(shè)定多個(gè)匹配區(qū)域，方法一樣。本文以一般情況下劃定圖3(c)左下角、右下角作為目標(biāo)匹配區(qū)域?yàn)槔?，具體實(shí)現(xiàn)算法下文會(huì)做詳細(xì)描述。

通常情況下攝像頭抖動(dòng)頻率比較低，幅度比較小，因而將所劃定的匹配區(qū)域在基準(zhǔn)幀中的位置作為搜索中心，根據(jù)工程實(shí)際在其附近限定搜索范圍（如圖3黃框區(qū)域所示，為搜索范圍。）

2.2 圖像抖動(dòng)的判定

當(dāng)圖像差分算法檢測(cè)到異常情況時(shí)，先判斷是否由攝像頭抖動(dòng)引起，判斷方法根據(jù)匹配區(qū)域的劃定分為兩種：

①若劃定的目標(biāo)匹配區(qū)域只有一個(gè)（如圖3(a)、圖3(b)所示），進(jìn)行差分的前后兩張圖片中，選取第一張圖片作為基準(zhǔn)幀，劃定好的目標(biāo)匹配區(qū)域，與第二張圖片相同位置、相同大小的候選匹配區(qū)域一起，利用式（1）、（2）、（3）建立一維顏色直方圖模型（如圖2(a)、圖2(b)所示），再根據(jù)式（4）巴氏距離計(jì)算得到目標(biāo)區(qū)域和候選區(qū)域一維顏色直方圖相似度dBhattachayya，兩直方圖完全匹配dBhattachayya=0,完全不匹配dBhattachayya=1?，F(xiàn)設(shè)定相似度閾值為0.05，若目標(biāo)區(qū)域與候選區(qū)域的顏色直方圖相似度dBhattachayya＜0.05，則判定攝像頭沒(méi)有抖動(dòng)，兩張圖片正常。

②若劃定的目標(biāo)匹配區(qū)域有兩個(gè)，需要分別對(duì)兩個(gè)匹配區(qū)域和對(duì)應(yīng)候選區(qū)域進(jìn)行顏色直方圖匹配，步驟與方法①一致，得到的兩個(gè)相似度d1Bhat-tachayya和d2Bhattachayya中，只要有一個(gè)小于設(shè)定閾值0.05，就判定攝像頭沒(méi)有發(fā)生抖動(dòng)，當(dāng)兩個(gè)相似度d1Bhat-tachayya、d2Bhattachayya都超過(guò)閾值0.05時(shí)，才判定攝像頭發(fā)生抖動(dòng)，進(jìn)行圖像抖動(dòng)消除。

圖3 室內(nèi)環(huán)境下劃定合適的匹配區(qū)域

2.3 圖像抖動(dòng)的消除

若判定出圖像受到攝像頭抖動(dòng)的干擾后，在做第二次相鄰兩幀圖像差分前，先進(jìn)行圖像抖動(dòng)的消除，具體步驟：

(a)讀入待差分的兩張圖片，以第一幀圖像作為基準(zhǔn)幀，第二幀圖像為抖動(dòng)干擾幀。

(b)在第一幀圖像中，劃定好合適的目標(biāo)匹配區(qū)域；在第二幀圖像中，以第一幀圖像中劃定目標(biāo)區(qū)域的位置為中心，劃定好合適匹配范圍，開(kāi)始搜索最優(yōu)匹配塊。

(c)搜索策略：采用改進(jìn)后的三步快速搜索算法，既保證了搜索的效率，也保證了搜索的精度。搜索過(guò)程中，對(duì)比候選區(qū)域和基準(zhǔn)幀目標(biāo)區(qū)域的顏色直方圖相似度，當(dāng)直方圖相似度dBhattachayya＜0.05時(shí)，停止搜索，記錄下此時(shí)匹配塊的位置；若dBhattachayya始終大于閾值0.05，記錄下搜索過(guò)程中出現(xiàn)dBhattachayya最小值時(shí)匹配塊的位置。最后根據(jù)匹配塊位置，計(jì)算出對(duì)應(yīng)的塊運(yùn)動(dòng)位移。

(d)通過(guò)計(jì)算出對(duì)應(yīng)的塊運(yùn)動(dòng)位移，得到兩幅圖像的絕對(duì)運(yùn)動(dòng)位移，最后消除第二幀圖像的干擾位移。

(e)對(duì)去除抖動(dòng)干擾的兩幀圖像進(jìn)行差分處理、灰度變換、二值化處理，二值化處理時(shí)將大于閾值的像素點(diǎn)置為255，小于閾值的像素點(diǎn)置為0，到此即可分割出運(yùn)動(dòng)目標(biāo)區(qū)域。

圖4 三步快速搜索示例圖

若基準(zhǔn)幀中劃定的目標(biāo)匹配區(qū)域有兩個(gè)，按照以上步驟將會(huì)得到兩個(gè)絕對(duì)運(yùn)動(dòng)位移和兩個(gè)不同的圖像差分結(jié)果。本文的處理辦法是統(tǒng)計(jì)出圖像差分、灰度變換、二值化后像素值為255的像素點(diǎn)的個(gè)數(shù)，以個(gè)數(shù)少的作為最終差分結(jié)果。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 設(shè)定一個(gè)目標(biāo)匹配區(qū)域的抖動(dòng)干擾消除

待差分的兩幀圖像中，沒(méi)有運(yùn)動(dòng)物體的區(qū)域，理論上進(jìn)行圖像差分、二值化處理后，該區(qū)域像素點(diǎn)的值應(yīng)該全為0。但是由于攝像頭抖動(dòng)干擾的存在，相鄰兩幀圖像對(duì)應(yīng)點(diǎn)的像素值發(fā)生變化，會(huì)誤判成運(yùn)動(dòng)物體造成。圖5(a)綠色框區(qū)域?yàn)槟繕?biāo)匹配區(qū)域，黃色框區(qū)域?yàn)槠ヅ渌阉鞣秶瑘D5(b)受到了抖動(dòng)干擾，藍(lán)色框區(qū)域?yàn)樽顑?yōu)匹配塊搜索結(jié)果，圖5(c)是相鄰兩幀圖像圖5(a)和圖5(b)進(jìn)行差分、二值化后的結(jié)果，二值化閾值取40。圖5(e)是消除干擾位移后的灰度圖像，圖5(f)是消除抖動(dòng)干擾后的差分、二值化結(jié)果。

圖5 設(shè)定一個(gè)目標(biāo)匹配區(qū)域的圖像抖動(dòng)消除

如下表1統(tǒng)計(jì)的為圖5中對(duì)應(yīng)差分、二值化后的圖像面積，圖像的分辨率為640*480，從圖5和表1可以看出，攝像頭抖動(dòng)干擾圖像差分的影響巨大，采用消除圖像抖動(dòng)算法后，攝像頭抖動(dòng)的影響大大減弱甚至完全消除，運(yùn)動(dòng)目標(biāo)的輪廓能完全顯現(xiàn)出來(lái)。后期再通過(guò)形態(tài)學(xué)濾波處理，即可精確分割運(yùn)動(dòng)目標(biāo)。

表1 去抖動(dòng)干擾前后圖像差分、二值化后的面積（像素為255的個(gè)數(shù)）

3.2 設(shè)定兩個(gè)目標(biāo)匹配區(qū)域的抖動(dòng)干擾消除

圖6所示的監(jiān)控環(huán)境中不包含運(yùn)動(dòng)物體的區(qū)域顏色特征不明顯，故劃定左下角、右下角作為目標(biāo)匹配區(qū)域。圖6(d)所示，左下角的綠框目標(biāo)匹配區(qū)域內(nèi)出現(xiàn)運(yùn)動(dòng)目標(biāo)，圖6(e)所示藍(lán)框區(qū)域?yàn)槠ヅ浣Y(jié)果，圖6(g)為圖像消抖后差分、二值化結(jié)果。圖6(h)為選定右下角作為目標(biāo)匹配區(qū)域，且匹配區(qū)域無(wú)運(yùn)動(dòng)目標(biāo)。圖6(i)所示藍(lán)框區(qū)域?yàn)槠ヅ浣Y(jié)果，圖6(k)為圖像消抖后差分、二值化結(jié)果。

圖6 設(shè)定兩個(gè)目標(biāo)匹配區(qū)域的圖像抖動(dòng)消除

圖6中圖像的分辨率都為640*480，圖6(c)中像素值為255的個(gè)數(shù)是39203，圖6(g)中像素值為255的個(gè)數(shù)是40281，圖6(k)中像素值為255的個(gè)數(shù)是32154。由圖6(g)和圖6(k)對(duì)比可以得出，由于目標(biāo)匹配區(qū)域內(nèi)出現(xiàn)運(yùn)動(dòng)目標(biāo)這一特殊情況，導(dǎo)致圖像匹配錯(cuò)誤，圖像消抖不成功。而無(wú)運(yùn)動(dòng)目標(biāo)的區(qū)域作為匹配區(qū)域，圖像消抖后差分、二值化能準(zhǔn)確分割出運(yùn)動(dòng)目標(biāo)。本文算法也將根據(jù)圖像消抖、差分、二值化后像素值為255的個(gè)數(shù)，自動(dòng)選擇最優(yōu)消抖結(jié)果。

4 結(jié)論

復(fù)雜環(huán)境下的運(yùn)動(dòng)目標(biāo)檢測(cè)在智能視頻監(jiān)控系統(tǒng)中是一個(gè)至關(guān)重要的環(huán)節(jié)。攝像頭抖動(dòng)干擾對(duì)基于差分的目標(biāo)分割算法帶來(lái)了巨大的挑戰(zhàn)，為抑制抖動(dòng)干擾對(duì)目標(biāo)提取穩(wěn)健性的影響，本文提出了基于預(yù)先劃定一個(gè)或多個(gè)目標(biāo)匹配區(qū)域的顏色直方圖匹配方法，能夠有效去除圖像差分時(shí)圖像抖動(dòng)的干擾，排除了純背景差分時(shí)圖像抖動(dòng)造成的誤檢測(cè)和有運(yùn)動(dòng)物體時(shí)圖像抖動(dòng)造成的漏檢，實(shí)驗(yàn)證明，該方法在基于圖像差分的運(yùn)動(dòng)目標(biāo)檢測(cè)中效果顯著。不足的是，本文算法在顏色特征不明顯的監(jiān)控環(huán)境下使用效果較差，監(jiān)控場(chǎng)景始終有多個(gè)運(yùn)動(dòng)目標(biāo)而劃定多個(gè)目標(biāo)匹配區(qū)域，算法實(shí)時(shí)性較差，如何解決這一問(wèn)題將是我們下一步的研究重點(diǎn)。

[1]王亮，胡衛(wèi)明，譚鐵牛.人運(yùn)動(dòng)的視覺(jué)分析綜述[J].計(jì)算機(jī)學(xué)報(bào)，2002，25(3)：225-237.

[2]譚鑫，肖南峰.運(yùn)動(dòng)人體的檢測(cè)跟蹤方法的研究與實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用與軟件，2010，24(4)：29-31.

[3]丁友東,吳學(xué)純.基于Kinect的人體對(duì)象視頻自動(dòng)分割[J].電子測(cè)量技術(shù)，2013，36(4)：48-51．

[4]Nima Asgharbeygi,David Stracuzzi,Pat Langley.Relational Temporal Difference Learning[C].In Proc.The 23rd International Conference on Machine Learning,Pittsburgh,2006.

[5]戴小鵬，王華偉，黃璜.一種新的背景模型建立及更新方法[J].計(jì)算機(jī)應(yīng)用研究，2006(5)：239-241.

[6]曹丹華，鄒偉，吳裕斌.基于背景圖像差分的運(yùn)動(dòng)人體檢測(cè)[J].光電工程，2007,6(34)：107-111.

[7]余燁,曹明偉,岳峰.EViBe：一種改進(jìn)的ViBe運(yùn)動(dòng)目標(biāo)檢測(cè)算法[J].儀器儀表學(xué)報(bào)，2014，35(4)：924-931．

[8]MURGIA J,MEURIE C,RUICHEK Y.An improved colorimetric invariants and RGB-depth-based codebook modelfor background subtraction using Kinect[C].Mexican International Conference on Artificial Intelligence，2014，380-392．

[9]O’Connor N E,O’Conaire C,Smeaton A.Thermo-visual feature fusion for object tracking using multiple spatiogram trackers[J].Machine Vision and Application,2008,19(5/6)：483-494.

[10]Smeaton A F,O’Conaire C,O’Connor N E.An improved spatiogram similarity measure for robust object localization[C].Proceedings of ICASSP,Honolulu,2007：1067-1072.

[11]Birchfield S T,Rangarajan S.Spatial histograms for region-based tracking[J].ETRI Journal,2007,29(5)：697-699.

A Method of Image Dithering Elimination Based on Histogram Matching

ZHENG Lai-fang
(School of Electrical Engineering,Taiyuan Institute of Technology,Taiyuan Shanxi,030003)

By the effects of heavy vehicles passing,the strong wind or other factors,the image captured by fixed camera will produce dithering.But in moving target detection algorithm based on image difference,the image dithering will bring a lot of interference to extract moving targets from image.In this paper,a new method of image dithering elimination based on histogram matching in one or more pre-defined areas is proposed.By analyzing and comparing color histogram similarity in target area and candidate area between dithered image and normal image,the optimal matching block will be found and absolute motion displacement of two images will be calculated,finally,to eliminate interference displacement.Experimental results show that the method have a outstanding performance in robustness which can accurately eliminate the interference in moving target detection caused by dithered displacement.

dithered interference;moving target detection;image difference;color histogram matching

TP391.4

A

1674-0874(2017)02-0017-04

〔責(zé)任編輯 高彩云〕

2017-02-07

太原工業(yè)學(xué)院青年科學(xué)基金[2016LQ04]

鄭來(lái)芳（1987-），女，安徽亳州人，碩士，助教，研究方向：模式識(shí)別，機(jī)器視覺(jué)。