基于顯著性圖的監(jiān)所夜間監(jiān)控方法

朱杰 王晶 杜婉音等

監(jiān)獄是關(guān)押和改造犯罪人員的場(chǎng)所，對(duì)在押犯人行為的監(jiān)控是保障監(jiān)獄安全必不可少的管理手段。我國(guó)各地的監(jiān)獄一般都建立了模擬閉路電視監(jiān)控系統(tǒng)來(lái)監(jiān)控犯人的行為。由于模擬閉路電視監(jiān)控系統(tǒng)的錄像的圖像分辨率不高，圖像的清晰度較差，尤其是在夜間光線比較暗的情況下更加難以分析監(jiān)控區(qū)域的具體情況。此外，視頻處理的效率也是阻礙視頻實(shí)時(shí)分析的難點(diǎn)之一。實(shí)時(shí)的視頻處理需要大量的計(jì)算，為了有效的進(jìn)行實(shí)時(shí)視頻分析，我們提出了一種基于顯著性圖的

快速視頻分析方法。

基金支持： 2014年中央司法警官學(xué)院院級(jí)科研項(xiàng)目，基于顯著性圖的監(jiān)所夜間監(jiān)控方法，課題編號(hào)：XYY201402。2014年保定市科學(xué)技術(shù)研究與發(fā)展指導(dǎo)計(jì)劃項(xiàng)目，項(xiàng)目編號(hào)：14ZS006。

監(jiān)獄是國(guó)家司法體系的重要組成部分，擔(dān)負(fù)著教育改造犯罪人員的重要職責(zé)。鑒于本身的功能要求，監(jiān)獄對(duì)于安防系統(tǒng)在安全可靠性方面的要求要明顯高于其他行業(yè)[1]。傳統(tǒng)的視頻監(jiān)控模式，把視頻存儲(chǔ)在硬盤(pán)當(dāng)中，只能于事后取證，無(wú)法起到預(yù)防、預(yù)警的作用。隨著監(jiān)控系統(tǒng)圖像路數(shù)的增加，傳統(tǒng)的依靠人工監(jiān)控的方式就更難于即使發(fā)現(xiàn)并解決問(wèn)題。

近年來(lái)安全監(jiān)控應(yīng)用日益廣泛，如行人檢測(cè)、車(chē)輛檢測(cè)等，目前目標(biāo)檢測(cè)有多種方法，但多對(duì)白天光照情況良好的情況下的圖像進(jìn)行分析，極少針對(duì)夜間圖像。夜間光源不足，圖像的視覺(jué)質(zhì)量會(huì)大大降低，拍攝到的監(jiān)控圖像畫(huà)面昏暗、特征不清晰。如何在這種情況下準(zhǔn)確的判斷出犯人的位置是我們研究的重點(diǎn)。

針對(duì)上述問(wèn)題，國(guó)內(nèi)外研究機(jī)構(gòu)提出了許多解決方法。本文提出了一種基于顯著性圖（saliency map）的視頻分析方法。首先，我們把視頻按照一定的時(shí)間間隔進(jìn)行采樣。然后，通過(guò)顯著性圖來(lái)提取對(duì)象的輪廓。最后，顯著性圖表示的區(qū)域表示出來(lái)，進(jìn)行圖像的動(dòng)作判別。

2相關(guān)工作：

計(jì)算機(jī)視覺(jué)是一門(mén)研究如何使機(jī)器“看”的科學(xué)，更進(jìn)一步的說(shuō)，就是指用攝影機(jī)和計(jì)算機(jī)代替人眼對(duì)目標(biāo)進(jìn)行識(shí)別、跟蹤和測(cè)量等機(jī)器視覺(jué)，并進(jìn)一步做圖像處理，用計(jì)算機(jī)處理成為更適合人眼觀察或傳送給儀器檢測(cè)的圖像。作為一個(gè)科學(xué)學(xué)科，計(jì)算機(jī)視覺(jué)研究相關(guān)的理論和技術(shù)，該文原載于中國(guó)社會(huì)科學(xué)院文獻(xiàn)信息中心主辦的《環(huán)球市場(chǎng)信息導(dǎo)報(bào)》雜志http：//www.ems86.com總第577期2014年第45期-----轉(zhuǎn)載須注名來(lái)源試圖建立能夠從圖像或者多維數(shù)據(jù)中獲取‘信息的人工智能系統(tǒng)。這里所指的信息指夏農(nóng)定義的，可以用來(lái)幫助做一個(gè)“決定”的信息。因?yàn)楦兄梢钥醋魇菑母泄傩盘?hào)中提取信息，所以計(jì)算機(jī)視覺(jué)也可以看作是研究如何使人工系統(tǒng)從圖像或多維數(shù)據(jù)中“感知”的科學(xué)。

對(duì)于一幅圖像來(lái)說(shuō)，用戶只對(duì)圖像中的部分區(qū)域感興趣，這部分感興趣的區(qū)域代表了用戶的查詢意圖，而多數(shù)剩余的不感興趣區(qū)域則與用戶查詢意無(wú)關(guān)。顯著性圖的構(gòu)造綜合考慮顏色、亮度、方向等多種特征。最后再根據(jù)顯著圖確定圖像的顯著區(qū)域。

Koch[2]等人基于生物視覺(jué)機(jī)制的啟示提出“視覺(jué)顯著圖”的概念，利用拓?fù)浣Y(jié)構(gòu)圖來(lái)表示一種場(chǎng)景的視覺(jué)顯著性；Bruce等人[3]提出基于信息最大化來(lái)計(jì)算視覺(jué)顯著性；Gao等人[4]基于判別式的顯著性假設(shè)提出了一種新的視覺(jué)顯著性判斷方法。黃提出的方法建立了一個(gè)新穎的用于檢測(cè)視覺(jué)顯著性圖像的模型，并且該模型可以應(yīng)用在多種圖像相關(guān)的應(yīng)用場(chǎng)景中，但是當(dāng)圖像背景較復(fù)雜時(shí)，分類(lèi)正確率較低。

3 算法介紹：

首先設(shè)定采樣時(shí)間。視頻可以看做是連續(xù)的圖像，我們每0.5s對(duì)視頻截圖進(jìn)行采樣。其次，利用顯著性圖提取對(duì)象區(qū)域。然后通過(guò)無(wú)監(jiān)督的方法分析對(duì)象動(dòng)作，分析面部表情衣著等。最后，根據(jù)數(shù)據(jù)庫(kù)中當(dāng)前時(shí)間的正常動(dòng)作對(duì)比來(lái)判斷對(duì)象身份已經(jīng)動(dòng)作的合法性。其中數(shù)據(jù)庫(kù)中動(dòng)作的比對(duì)是難點(diǎn)之一。我們可以把對(duì)象動(dòng)作的識(shí)別認(rèn)為是一個(gè)簡(jiǎn)單的分類(lèi)問(wèn)題，即合法與不合法兩類(lèi)動(dòng)作。我們用機(jī)器學(xué)習(xí)來(lái)處理這個(gè)問(wèn)題。我們采用SVM分類(lèi)器進(jìn)行分類(lèi)。圖像表示的方法我們可以用直方圖來(lái)表示，但是傳統(tǒng)的直方圖表示沒(méi)有空間信息，所以我們?cè)趫D像表示的時(shí)候融入了空間上下文關(guān)系，生成了有上下文關(guān)系的直方圖。圖像表示的時(shí)候我們采用了多特征融合的直方圖表示方法，單獨(dú)用一個(gè)特征表示出來(lái)的直方圖往往不能準(zhǔn)確的表示出對(duì)象的特征，多特征融合的表示方法可以從不同角度去表示圖像，能夠在更加廣闊的特征空間對(duì)圖像進(jìn)行表示。在顯著性圖的幫助下，我們只需要提取顯著區(qū)域內(nèi)的特征。我們提取的特征有顏色，形狀。其中顏色用CN和HUE兩種顏色描述子，而形狀我們用SIFT特征來(lái)描述。尺度不變特征轉(zhuǎn)換（Scale-invariant feature transform 或 SIFT）是一種電腦視覺(jué)的算法用來(lái)偵測(cè)與描述影像中的局部性特征，它在空間尺度中尋找極值點(diǎn)，并提取出其位置、尺度、旋轉(zhuǎn)不變量。我們將Bag-of-words模型應(yīng)用于圖像表示。我們用三個(gè)步驟來(lái)實(shí)現(xiàn)這個(gè)過(guò)程特征檢測(cè)、特征表示和單詞本的生成。在我們的模型中，首先提取SIFT和生成的patch的顏色特征，然后用K-means算法分別進(jìn)行聚類(lèi)，所生成的類(lèi)中心就是字典。所謂早融合就是把patch的SIFT特征和顏色特征分別提取出來(lái)，把兩種特征向量進(jìn)行加權(quán)，然后連接在一起。晚融合的方法是首先對(duì)顏色形狀分別聚類(lèi)，然后生成顏色和形狀的字典表示，最后對(duì)生成的兩種直方圖進(jìn)行加權(quán)并且連接在一起。他們分別對(duì)自然物體和人造物體有著比較好的識(shí)別效果。

4實(shí)驗(yàn)對(duì)比：

圖1：原圖和生成的顯著性圖

以上圖為顯著性圖提取的對(duì)象區(qū)域，實(shí)驗(yàn)比對(duì)可以看出我們有效的找到了對(duì)象區(qū)域。其中顯著性越強(qiáng)即越亮的地方越有可能是對(duì)象所在的區(qū)域。通過(guò)對(duì)對(duì)象動(dòng)作的分析比對(duì)，我們發(fā)現(xiàn)對(duì)象正在練習(xí)，通過(guò)對(duì)相關(guān)時(shí)間段的判斷分析，在這個(gè)時(shí)間警察練習(xí)是正常的動(dòng)作，所以視為合法動(dòng)作。

5結(jié)論

本文提出了一種利用顯著性圖來(lái)分析夜間監(jiān)所情況的智能算法，我們對(duì)圖像進(jìn)行分時(shí)間段采樣，并用顯著性圖來(lái)描述對(duì)象區(qū)域和動(dòng)作。完備的動(dòng)作庫(kù)用來(lái)對(duì)對(duì)象行為進(jìn)行分析，結(jié)合時(shí)間序列和動(dòng)作的變化最終確定對(duì)象行為的合法性。本方法結(jié)合了對(duì)象識(shí)別和機(jī)器學(xué)習(xí)的分類(lèi)算法，能夠?yàn)楸O(jiān)獄監(jiān)控智能化的實(shí)現(xiàn)提供良好的理論基礎(chǔ)。

（作者單位：1中央司法警官學(xué)院信息管理系；2北京交通大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院；3河北軟件職業(yè)技術(shù)學(xué)院；4河北大學(xué)管理學(xué)院 ；