基于馬爾可夫隨機(jī)場(chǎng)的運(yùn)動(dòng)物體檢測(cè)方法

魏麗芳, 林甲祥, 楊長(zhǎng)才, 董　恒, 周術(shù)誠(chéng)

(1.福建農(nóng)林大學(xué)計(jì)算機(jī)與信息學(xué)院，福建 福州 350002；2.福州大學(xué)物理與信息工程學(xué)院，福建 福州 350002)

?

基于馬爾可夫隨機(jī)場(chǎng)的運(yùn)動(dòng)物體檢測(cè)方法

魏麗芳1, 林甲祥1, 楊長(zhǎng)才1, 董恒2, 周術(shù)誠(chéng)1

(1.福建農(nóng)林大學(xué)計(jì)算機(jī)與信息學(xué)院，福建 福州 350002；2.福州大學(xué)物理與信息工程學(xué)院，福建 福州 350002)

摘要:智能監(jiān)控的實(shí)現(xiàn)是避免和防范變電站內(nèi)各種潛在危險(xiǎn)的一種有效途徑.為了更準(zhǔn)確判定變電站工作人員的運(yùn)動(dòng)狀態(tài)，提出一種基于高斯混合模型結(jié)合馬爾可夫隨機(jī)場(chǎng)的運(yùn)動(dòng)物體檢測(cè)方法.在圖像的HSV顏色空間通過混合高斯背景建模實(shí)現(xiàn)對(duì)運(yùn)動(dòng)物體的初步檢測(cè)，采用區(qū)域性馬爾可夫隨機(jī)場(chǎng)與運(yùn)動(dòng)物體模板匹配實(shí)現(xiàn)運(yùn)動(dòng)物體的精確檢測(cè)，并根據(jù)模板去除存在的陰影.結(jié)果表明，該方法可在變電站不同背景條件下有效檢測(cè)出運(yùn)動(dòng)物體，為運(yùn)動(dòng)物體的行為分析及運(yùn)動(dòng)場(chǎng)景拼接奠定了良好的基礎(chǔ).

關(guān)鍵詞:視頻圖像; 高斯混合模型; 運(yùn)動(dòng)檢測(cè); 馬爾可夫隨機(jī)場(chǎng)

近年來隨著電力系統(tǒng)安全等級(jí)升級(jí)的需求增大，警戒區(qū)型建筑以其完善的配套設(shè)施、先進(jìn)的生活方式正逐漸改變?nèi)藗兊墓ぷ鳝h(huán)境，同時(shí)人們對(duì)于安全防范的要求更高.為了進(jìn)一步滿足社會(huì)經(jīng)濟(jì)發(fā)展與文明生活的高標(biāo)準(zhǔn)要求，創(chuàng)造安全、舒適、溫馨的工作環(huán)境，電力智能安全防范系統(tǒng)成為警戒區(qū)型建筑安保建設(shè)中不可或缺的一項(xiàng).警戒區(qū)型建筑周界安全防范系統(tǒng)是為防止人員從非入口區(qū)域未經(jīng)允許擅自闖入，避免和防范各種潛在的危險(xiǎn)[1].近年來，利用視頻監(jiān)控設(shè)施對(duì)監(jiān)視區(qū)域進(jìn)行監(jiān)測(cè)的各種技術(shù)飛速發(fā)展，為基于智能監(jiān)控的安全防御系統(tǒng)的實(shí)現(xiàn)提供了強(qiáng)大的理論和技術(shù)支持[2-6].通過對(duì)所監(jiān)視場(chǎng)景中運(yùn)動(dòng)目標(biāo)的檢測(cè)、分析與識(shí)別, 對(duì)當(dāng)前目標(biāo)所處的狀態(tài)進(jìn)行判斷, 根據(jù)要求對(duì)異常事件及時(shí)報(bào)警, 從而達(dá)到安全監(jiān)控的目的[7].

視頻圖像中的運(yùn)動(dòng)物體檢測(cè)是實(shí)現(xiàn)各種安全防范的基本技術(shù)內(nèi)容.運(yùn)動(dòng)物體檢測(cè)一般以背景建模的結(jié)果為基礎(chǔ).背景建模的主要難點(diǎn)在于自然場(chǎng)景中的背景通常是實(shí)時(shí)動(dòng)態(tài)的，同時(shí)攝像機(jī)的抖動(dòng)和視頻信號(hào)的噪聲也給魯棒背景建模帶來困難.文獻(xiàn)[8]提出了通過高斯背景建模方法實(shí)現(xiàn)交通場(chǎng)景的監(jiān)控；文獻(xiàn)[9]提出了一種以拓?fù)渥杂傻碾[馬爾可夫模型的建模方法來處理環(huán)境光照的突然變化，該方法可適應(yīng)于動(dòng)態(tài)環(huán)境下的目標(biāo)檢出，但未對(duì)檢出目標(biāo)進(jìn)行分析.文獻(xiàn)[10]則提出一種分級(jí)建模方法，采用兩級(jí)策略對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行準(zhǔn)確檢測(cè).采用該方法可以實(shí)現(xiàn)復(fù)雜環(huán)境下的目標(biāo)對(duì)象檢出，但如何利用檢測(cè)到的目標(biāo)判讀該工作人員的工作狀態(tài)，成為安全工作需要進(jìn)一步確定的問題.

為了判斷工作人員是否處于安全工作區(qū)或是否發(fā)生越界行為，提出一種高斯混合模型與馬爾可夫隨機(jī)場(chǎng)結(jié)合的運(yùn)動(dòng)檢測(cè)方法.該方法在圖像的HSV顏色空間通過混合高斯背景建模實(shí)現(xiàn)對(duì)運(yùn)動(dòng)物體的初步提取，并提出區(qū)域性馬爾可夫隨機(jī)場(chǎng)與運(yùn)動(dòng)物體模型相結(jié)合的方法，實(shí)現(xiàn)對(duì)運(yùn)動(dòng)物體的精確檢測(cè)，通過運(yùn)動(dòng)模板模型去除陰影的影響.

1材料與方法

1.1改進(jìn)的高斯混合背景建模

高斯混合模型[2-3]是在單高斯模型[1]基礎(chǔ)上構(gòu)建的背景模型.對(duì)視頻圖像的每個(gè)像素點(diǎn)建立多高斯混合模型，同時(shí)處理背景中可能出現(xiàn)的多種變化，且模型的參數(shù)可實(shí)現(xiàn)自適應(yīng)更新.本文采用改進(jìn)的高斯混合建模方法，實(shí)現(xiàn)復(fù)雜環(huán)境下運(yùn)動(dòng)物體的檢測(cè).

假設(shè)視頻中某幀圖像上的任何一個(gè)像素點(diǎn)都符合高斯混合背景模型的分布，每個(gè)像素點(diǎn)所呈現(xiàn)的顏色用K個(gè)狀態(tài)來表示，一般K取3～5(K=3)，將每個(gè)狀態(tài)用一個(gè)高斯分布來近似.將像素點(diǎn)所呈現(xiàn)的顏色用隨機(jī)變量X來表示，在每個(gè)時(shí)刻得到視頻圖像的像素值為隨機(jī)變量Xt的采樣值.第i個(gè)狀態(tài)(0

(1)

(2)

其中，μi為第i個(gè)高斯分布的均值，∑i表示協(xié)方差矩陣，ωi為對(duì)應(yīng)的權(quán)值.

將當(dāng)前幀中的每個(gè)像素點(diǎn)與模型相應(yīng)點(diǎn)的各高斯分布進(jìn)行匹配運(yùn)算，若多模態(tài)中有1個(gè)或幾個(gè)(設(shè)為第k個(gè))高斯分布與像素值匹配，則更新該高斯分布；若當(dāng)前像素值X找不到任何一個(gè)與之匹配的高斯分布，則認(rèn)為多模型集合中出現(xiàn)了新的高斯分布.根據(jù)X值引入新的高斯分布，代替原高斯模型中權(quán)重最小分布，賦較小權(quán)值和較大方差.

混合模型中背景像素的模型應(yīng)具備較大的權(quán)重和較小的方差，因此對(duì)于視頻中某幀圖像上的任何一個(gè)像素點(diǎn)屬于當(dāng)前背景的可能性或概率，通過訓(xùn)練高斯混合模型實(shí)現(xiàn)[6,11,12]：

(3)

(4)

1.2基于馬爾可夫隨機(jī)場(chǎng)的運(yùn)動(dòng)對(duì)象分割

在完成背景建模時(shí)，可以獲得運(yùn)動(dòng)物體的團(tuán)塊.為了精確獲得物體的體態(tài)信息，提出采用基于色彩分布的馬爾可夫隨機(jī)場(chǎng)分割方法進(jìn)行運(yùn)動(dòng)物體的精確提取，同時(shí)去除存在的陰影.

1.3馬爾可夫隨機(jī)場(chǎng)

馬爾可夫隨機(jī)場(chǎng)理論提供了對(duì)上下文相關(guān)性的一種方便、一致的建模方法，本文利用MRF隨機(jī)場(chǎng)描述圖像像素之間的空間約束信息.設(shè)一幅大小為M×N的圖像，像素的集合為S={s(i,j);1≤i≤M,1≤j≤N}.其在MRF中，點(diǎn)s(i,j)的空間關(guān)系通過其鄰域系統(tǒng)相互關(guān)聯(lián)，鄰域系統(tǒng)定義為[9-11]：

(5)

若M為s(i,j)的鄰域系統(tǒng)，需滿足：(1)s(i,j)?mij；(2)如果s(k,l)∈mij，那么s(i,j)∈mkl.

圖像分割后X={xs;xs∈{1,2,…,K}}是定義在S上的隨機(jī)場(chǎng)，如果X滿足以下特性，則認(rèn)為X為馬爾可夫隨機(jī)場(chǎng)，圖像像素聯(lián)合概率P(X)>0.若：

(6)

根據(jù)Markov隨機(jī)場(chǎng)和Gibbs分布的關(guān)系，將其表述為Hammersley-Cliford定理，即X是S上的一個(gè)對(duì)于鄰域系統(tǒng)M的馬爾可夫隨機(jī)場(chǎng)，當(dāng)且僅當(dāng)它的聯(lián)合分布是與M有關(guān)的集簇(Clique)的Gibbs分布[12-16]:

(7)

(8)

Vc(X)是與集簇有關(guān)的勢(shì)函數(shù)，通過選擇集簇合適的勢(shì)函數(shù)，可以形成多類別的Gibbs分布的隨機(jī)場(chǎng).其中:

Vc(xi)=δ(xi,xj)-1

(9)

(10)

(11)

貝葉斯定律的后驗(yàn)概率為：

(12)

當(dāng)數(shù)據(jù)給定后，p(X)為常數(shù)，可以不予以考慮.結(jié)合Hammersley-Clifford定理，可以得到最佳分割的搜尋等價(jià)于下式的最小化過程：

(13)

其中，U(L,X)為能量函數(shù)，由條件概率模型能量函數(shù)U(X,L)和先驗(yàn)?zāi)Ｐ湍芰亢瘮?shù)U(L)組成.

Z為歸一化常數(shù)，而能量函數(shù)U(x)表述為:

(14)

即所有可能基團(tuán)C的基團(tuán)勢(shì)能Vc(x)之和，某個(gè)基團(tuán)C被定義為S中位置的子集，Vc(x)的值依賴于基團(tuán)C的局部配置.

1.4陰影的處理

對(duì)于檢測(cè)到的運(yùn)動(dòng)對(duì)象，存在的陰影將影響其運(yùn)動(dòng)狀態(tài)分析.陰影包括自身陰影和投射陰影.自身陰影是目標(biāo)表面未被光源直接照射而形成的暗區(qū)域；投射陰影是指在光線照射方向上由于目標(biāo)遮擋而形成的背景中的暗區(qū)域.已提取運(yùn)動(dòng)物體的投射陰影對(duì)行動(dòng)判定影響不大，而自身陰影則是影響行為判定的主要干擾因素[16,17].運(yùn)動(dòng)物體自身陰影出現(xiàn)的特點(diǎn)有：(1)從腳部開始出現(xiàn)，并未與自身身體相交；(2)陰影區(qū)域較暗，在分類塊中多數(shù)應(yīng)為黑色或灰色塊.

他是中國(guó)香料和食品添加劑專家，是我國(guó)食品領(lǐng)域的第一位60后院士，被人們尊稱為“香料院士”；他為攻克中國(guó)香料技術(shù)難題，在極其困難的條件下，嘔心瀝血、廢寢忘食，終于使得我國(guó)關(guān)鍵肉味香料擺脫了依賴進(jìn)口的局面，同時(shí)也使我國(guó)成為迄今為止全球僅有的兩個(gè)能夠自主生產(chǎn)此類高檔香料的國(guó)家之一。

利用初始檢測(cè)結(jié)果以及馬爾可夫分割后的圖像、運(yùn)動(dòng)模式(模板形式包括行走、跨越、蹲坐、站立)，去除運(yùn)動(dòng)物體自身的陰影.

1.5運(yùn)動(dòng)物體的精確提取

在劃定運(yùn)動(dòng)物體區(qū)域的基礎(chǔ)上，剔除其他非人體區(qū)域，正確檢測(cè)出運(yùn)動(dòng)物體的真實(shí)區(qū)域.精確分割算法的實(shí)現(xiàn)過程描述如下：

(1)在背景建模后，提取初始分割后的運(yùn)動(dòng)物體的二值化圖像Im_binary及在原圖中分割對(duì)應(yīng)區(qū)域Im_src；

(2)對(duì)Im_src圖像進(jìn)行基于馬爾可夫隨機(jī)場(chǎng)的分割，得到分割后的圖像Im_mrf；

(3)根據(jù)Im_mrf中不同類別分類塊中心點(diǎn)位置與圖像Im_mrf中心點(diǎn)的位置，同時(shí)結(jié)合陰影的特點(diǎn)，判斷可能為陰影的分類塊；

(4)根據(jù)給定運(yùn)動(dòng)模式模板，進(jìn)一步確定是否需要去除的陰影及要去除陰影的精確區(qū)域及大小.

(5)對(duì)于去除陰影的圖像，進(jìn)一步利用馬爾可夫隨機(jī)場(chǎng)分割圖像Im_mrf中的分類塊，準(zhǔn)確獲得運(yùn)動(dòng)物體的輪廓，得到精確體態(tài)圖像.

2結(jié)果與分析

為了驗(yàn)證提出的方法的可靠性、有效性等，在不同測(cè)試數(shù)據(jù)上進(jìn)行驗(yàn)證試驗(yàn)(不同天氣情況，如晴天、陰天等)，試驗(yàn)數(shù)據(jù)為某電站實(shí)際環(huán)境下，根據(jù)系統(tǒng)設(shè)計(jì)目的采集.其中，采集的視頻數(shù)據(jù)格式為CIF，并將提出方法的運(yùn)動(dòng)物體檢測(cè)結(jié)果與文獻(xiàn)[13]檢測(cè)結(jié)果進(jìn)行比較.試驗(yàn)環(huán)境在配置為IntelCore(TM)i7CPU2.2GHZ和4GB內(nèi)存的PC機(jī)器上完成，編程工具為VC6.0+OPENCV1.0.

2.1背景建模

圖1給出了在天氣晴朗且存在陰影情況下的背景建模結(jié)果的示例.從圖1背景建模結(jié)果可以看出，采用本文提出的方法可準(zhǔn)確提取背景層.

2.2體態(tài)檢測(cè)

圖2為體態(tài)檢測(cè)結(jié)果，而通過對(duì)背景去除目標(biāo)的分割提取并去除存在的陰影，完整地將運(yùn)動(dòng)對(duì)象提取，其體態(tài)特征明顯.從結(jié)果(圖2)可以看出，檢測(cè)結(jié)果較好的表現(xiàn)了運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)狀態(tài)，為進(jìn)一步的行為檢測(cè)奠定了良好的基礎(chǔ).

2.3運(yùn)動(dòng)目標(biāo)檢測(cè)

圖3a為采用文獻(xiàn)[13]方法直接提取目標(biāo)的結(jié)果，圖3b為本研究中陰影去除后提取的運(yùn)動(dòng)目標(biāo).表1給出了運(yùn)動(dòng)物體的檢出率及平均運(yùn)行時(shí)間.從表1可以看出，在同樣的測(cè)試條件下本文提出的方法的檢測(cè)率略優(yōu)于文獻(xiàn)[13].從檢測(cè)時(shí)間上看，采用本文提出的方法平均提取計(jì)算一幀圖像的時(shí)間為0.12 s左右(多目標(biāo)時(shí)相對(duì)較慢)，較文獻(xiàn)[13]的時(shí)間損耗略大些.這主要是因?yàn)樵摲椒▽?duì)運(yùn)動(dòng)目標(biāo)進(jìn)行了進(jìn)一步分割，且采用小區(qū)域分割策略，時(shí)間損耗的增量很小，但仍可以滿足實(shí)時(shí)性的要求.從試驗(yàn)結(jié)果可知，本文提出的方法是通過減少一定的時(shí)間，融入分割技術(shù)，實(shí)現(xiàn)對(duì)運(yùn)動(dòng)物體的精確提取.

表1　算法性能比較

3討論

根據(jù)變電站工作人員的運(yùn)動(dòng)狀態(tài)，提出一種基于馬爾可夫隨機(jī)場(chǎng)的運(yùn)動(dòng)物體體態(tài)檢測(cè)分割的優(yōu)化方法.首先通過高斯混合背景建模，提取背景及運(yùn)動(dòng)物體的初始形態(tài)；然后利用馬爾可夫隨機(jī)場(chǎng)進(jìn)行區(qū)域性運(yùn)動(dòng)物體分割，結(jié)合運(yùn)動(dòng)狀態(tài)模式精確提取運(yùn)動(dòng)物體，同時(shí)去除了存在的運(yùn)動(dòng)物體自身陰影，增強(qiáng)了運(yùn)動(dòng)狀態(tài)區(qū)分度，為運(yùn)動(dòng)狀態(tài)的準(zhǔn)確判斷奠定了基礎(chǔ).結(jié)果表明：本文提出的方法可準(zhǔn)確檢測(cè)運(yùn)動(dòng)物體，同時(shí)保證了視頻圖像的實(shí)時(shí)處理分析，具有較好的魯棒性和可行性.

參考文獻(xiàn)

[1] 黃斯茜.智能視頻分析算法在變電所中的研究與應(yīng)用[D].成都:西南交通大學(xué),2012.

[2] WREN C R, AZARBAYEJANI A, DARRELL T, et al. Pfinder: real-time tracking of the human body[J]. IEEE Trans Pattern Anal Machine Intell, 1997,19(7): 780-785.

[3] GRIMSON W E L, STAUFFER C, ROMANA R, et al. Using adaptive tracking to classify and monitor activities in a site[C]// SIPPLE R S, DAIGLE J. Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition. Santa Barbara: IEEE Press, 1998: 22-31.

[4] YASER S, MUBARAK S. Bayesian modeling of dynamic scenes for object detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005,27(11):1 778-1 792.

[5] MAADI A E, MALDAGUE X. Outdoor infrared video surveillance: a novel dynamic technique for the subtraction of a changing background of IR images[J]. Infrared Physics & Technology, 2007,49(3):261-26.

[6] 王永中,梁顏,潘泉,等.基于自適應(yīng)混合高斯模型的時(shí)空背景建模[J].自動(dòng)化學(xué)報(bào),2009,35(4):371-378.

[7] PORIKLI F, HAGA T. Event detection by eigenvector decomposition using object and frame features[C]// SADIYE G, ALEXANDER G H, ANDREAS H. IEEE Conference on Computer Vision and Pattern Recognition Workshop. Washington: IEEE Press, 2004, 114-121.

[8] CHEN Y Y, WANG J Q, LU H Q. Learning sharable models for robust background subtraction[C]//WARREN P, KALIDINDI S C S. IEEE International Conference on Multimedia and Expo. Torino, Italy: IEEE Press, 2015: 1-6.

[9] STENGER B, RAMESH V, PARAGIOS N, R, et al. Topology freehidden Markov models: application to background modeling[C]//BOB W. International Conference on Computer Vision. Vancouver, Canada: IEEE Press, 2001:294-301.

[10] CHEN Y T, CHEN C S,HUANG C R, et al. Efficient hier-archical method for background subtraction[J]. Pattern Recognition, 2007,40(10):2 706-2 715.

[11] 歐陽(yáng)杰,高金花,文振焜,等.融合HVS計(jì)算模型的視頻感知哈希算法研究[J].中國(guó)圖象圖形學(xué)報(bào),2011,16(10):1 883-1 889.

[12] LEE D S. Effective Gaussian mixture learning for video background subtraction[J]. Transactions on Pattern Analysis and Machine Intelligence (PAMI), 2005,27:827-832.

[13] 白向峰,李艾華,李喜來,等.新型背景混合高斯模型[J].中國(guó)圖象圖形學(xué)報(bào),2011,16(6):1883-1889.

[14] 王江濤,楊靜宇.紅外圖像中人體實(shí)時(shí)檢測(cè)研究[J].系統(tǒng)仿真學(xué)報(bào),2007,19(19):4 490-4 494.

[15] 趙雪梅,李玉,趙泉華.結(jié)合高斯回歸模型和隱馬爾可夫隨機(jī)場(chǎng)的模糊聚類圖像分割[J].電子與信息學(xué)報(bào),2014,36(11):2 730-2 735.

[16] MARTEL-BRISSON N, ZACCARIN A. Learning and removing cast shadows through a multidistribution approach[J].IEEE Trans on Pattern Analysis and Machine Intelligence, 2007,7(29):1 133-1 146.

[17] 付萍,方帥,徐心和,等.視頻監(jiān)控系統(tǒng)中運(yùn)動(dòng)目標(biāo)檢測(cè)的陰影去除方法[J].計(jì)算機(jī)工程,2007,33(10):22-24.

(責(zé)任編輯:葉濟(jì)蓉)

Detection method based on Markov random field for moving object

WEI Lifang1, LIN Jiaxiang1, YANG Changcai1, DONG Heng2, ZHOU Shucheng1

((1.College of Computer and Information Sciences, Fujian Agriculture and Forestry University, Fuzhou, Fujian 350002, China;2.College of Physics and Information Engineering, Fuzhou University, Fuzhou, Fujian 350002, China)

Abstract:Implementation of smart surveillance is an effective way to avoid potential hazard within substation. In order to more accurately determine the state of substation staff, which was a motion object in this case, a novel detection method based on Gauss mixture model and Markov random field motion was proposed. First of all, the hue, saturation, value (HSV) color space of the images were preliminarily extracted by Gauss mixture background modeling. Then a segmentation approach based on Markov random field motion was applied to re-extract the HSV image, which was followed by shadow elimination referring to respective motion templates. Experimental results comfirmed that the proposed method was capable of precisely detecting the state of moving objects within substation in different background, which laid a sound foundation for behavior analysis of motion object and image stitching.

Key words:video image; Gauss mixture model; motion detection; Markov random field

DOI:10.13323/j.cnki.j.fafu(nat.sci.).2016.01.020

中圖分類號(hào):TP391.9

文獻(xiàn)標(biāo)識(shí)碼:A

文章編號(hào):1671-5470(2016)01-0116-05

作者簡(jiǎn)介:魏麗芳(1981-),女,講師，博士.研究方向：圖像處理與分析、計(jì)算機(jī)視覺與模式識(shí)別.Email：weilifang1981@163.com.通訊作者周術(shù)誠(chéng)(1965-),男，教授.研究方向：計(jì)算機(jī)視覺.Email:zhoushuch@sohu.com.

基金項(xiàng)目:國(guó)家自然科學(xué)基金資助項(xiàng)目(41401458);福建省自然科學(xué)基金資助項(xiàng)目(2014J05045).

收稿日期：2015-03-29修回日期：2015-10-15