基于內(nèi)容的海量監(jiān)控視頻的多層次檢索系統(tǒng)

鄭海波，韓小萱，史云靜，李 潔，朱秀昌

(南京郵電大學江蘇省圖像處理與圖像通信重點實驗室，江蘇南京210003)

隨著多媒體技術的高速發(fā)展以及人們安全意識的提高，越來越多的場合安裝了監(jiān)控設備。監(jiān)控視頻的數(shù)量與日俱增，如何有效地從海量的監(jiān)控視頻中檢索出感興趣的視頻或片段，成為當今國內(nèi)外研究的熱點［1－5］。傳統(tǒng)的視頻檢索(video retrieval)，是根據(jù)視頻的時間地點查找，然后人工尋找所需要的視頻片段。然而很多情況下，視頻的時間和地點是未知的，如果想要從海量的監(jiān)控視頻中查找到所需要的視頻，就會花費大量的人力和物力。基于內(nèi)容的視頻檢索(Content－Based Video Retrieval，CBVR)技術，可以有效地解決這一問題。因此，基于內(nèi)容的視頻檢索更加符合人們的需求，研究監(jiān)控視頻庫的系統(tǒng)結(jié)構(gòu)和檢索技術具有十分重要的意義。

目前的基于內(nèi)容的視頻檢索系統(tǒng)主要是利用視頻處理技術，通過對視頻內(nèi)容進行分析處理，將視頻分割成不同的場景和片段這兩個層次，然后提取出視頻片段中的紋理、顏色、形狀、運行等全局特征，最后通過特征的匹配來實現(xiàn)視頻的檢索。這方面比較有代表性的系統(tǒng)是 Fischlar系統(tǒng)［6］和 IBM 公司的 Multimedia Search and Retrieval System［7］。而日常生活中的監(jiān)控視頻與普通視頻相比，有如下特點:1)監(jiān)控視頻的背景變化緩慢。因為一般監(jiān)控攝像頭都是固定在某一特定的場合，其錄制的監(jiān)控視頻都是在某一特定場合下的視頻;2)監(jiān)控視頻有較大的冗余。監(jiān)控視頻中經(jīng)常會出現(xiàn)較長的“靜止”畫面;3)監(jiān)控視頻中最感興趣的信息一般是行人、車輛等。因此，針對監(jiān)控視頻的這些特性，使用類似于Fischlar系統(tǒng)等系統(tǒng)，會產(chǎn)生建立索引的計算量太大，檢索效率低以及不能有效檢索所需要的感興趣信息(行人、車輛等)等問題。

本文提出了一種基于內(nèi)容的監(jiān)控視頻檢索系統(tǒng)的構(gòu)建方法。根據(jù)監(jiān)控視頻的場景變化緩慢的特點，使用關鍵幀提取技術［8－9］來生成視頻摘要，通過精簡的關鍵幀圖像來反映監(jiān)控視頻的主要信息。人們通常對監(jiān)控視頻中的行人、人臉以及車輛等信息更感興趣，因此利用機器學習方法對這些感興趣區(qū)域進行識別，然后提取出關鍵幀圖像中的車輛圖像、行人甚至人臉圖像。將生成的這些圖像信息及監(jiān)控視頻之間建立關系映射，并存儲在關系型數(shù)據(jù)庫中。然后利用開源的CBIR(Content－Based Image Retrieval)工具 Lucene Image Retrieval［10－12］構(gòu)建基于內(nèi)容的圖像檢索系統(tǒng)。首先分別將生成的關鍵幀圖像、車輛圖像、行人圖像和人臉圖像建立基于顏色、紋理、邊緣等特征的索引，形成多層次的信息數(shù)據(jù)庫。然后根據(jù)用戶輸入的待檢測圖像，檢索出相同或者相似的目標圖像，再根據(jù)關系型數(shù)據(jù)庫中保存的目標圖像與監(jiān)控視頻的對應關系找到對應的監(jiān)控視頻。最終完成了根據(jù)圖像內(nèi)容檢索目標監(jiān)控視頻的目的。因此，本文提出的基于內(nèi)容的海量監(jiān)控視頻的多層次檢索系統(tǒng)主要包含關鍵幀提取子系統(tǒng)、車輛檢測子系統(tǒng)、行人檢測子系統(tǒng)、人臉識別子系統(tǒng)、視頻數(shù)據(jù)庫管理子系統(tǒng)、基于內(nèi)容的圖像檢索子系統(tǒng)、數(shù)據(jù)庫管理子系統(tǒng)、Web應用和用戶交互界面等模塊。實驗表明，該系統(tǒng)能夠高效準確地檢索出所需監(jiān)控的視頻。該系統(tǒng)采用Java Web開發(fā)技術，B/S(Browser/Server)系統(tǒng)架構(gòu)，具有很強的實用性、可移植性及可擴展性。

1 相關技術

1.1 關鍵幀提取

視頻摘要技術主要分為兩大類，即關鍵幀(Key Frames)技術和縮略視頻(Video Skim)或濃縮視頻(Video Synopsis)技術［13］。結(jié)合監(jiān)控視頻的特點，本文使用的是關鍵幀技術。常見的關鍵幀算法有:幀差法(Frame Difference)，近似平均法(Approximate Median)，混合高斯法(Mixture of Gaussian)。本文選取效果較好的混合高斯法。在用混合高斯模型法獲得關鍵幀時，首先建立混合高斯模板［14－15］，通過計算新建像素模板與已知模板的相符程度判斷某一像素屬于前景還是背景。學習速率的選擇對背景圖像的準確性有一定的影響，更新速度過慢會延長背景建立的時間;更新速度過快又可能將短暫停留的前景目標誤當作背景。

1.2 行人檢測和車輛檢測

基于高斯混合模型，獲得了能夠體現(xiàn)視頻內(nèi)容的關鍵幀集合。由于同一場景下占有視頻幀較大比例的背景圖像變化不明顯，直接用關鍵幀進行檢索的準確率大大降低，這就要求對檢索范圍進一步縮小。在監(jiān)控視頻中，行人和車輛是主要關注的目標，因此采用HOG(Histograms of Oriented Gradients)［16］的方法來檢測行人與車輛。HOG訓練樣本時分為兩大部分，包括特征提取和訓練方法，流程圖如圖1所示。特征提取的流程包括:色彩的伽馬歸一化，梯度的計算，構(gòu)建以cell為單位的利用梯度幅值作為加權方案的方向直方圖，將多個cell單元的方向直方圖組合為更大的區(qū)間塊block并對block內(nèi)的直方圖向量進行標準化，最后合并檢測窗口內(nèi)的block直方圖向量。訓練方法采用的是支持向量機(Support Vector Machine，SVM)［17］中簡單的線性SVM訓練得到檢測行人和車輛的相關系數(shù)，使用SVM進行目標檢測的流程如圖1所示。

圖1 HoG樣本訓練與SVM目標檢測流程圖

1.3 人臉檢測

對于檢索到的行人圖像，對其進行人臉檢測，以提高檢索的效率。本文中人臉檢測采用的是Viola P等人提出的級聯(lián) Adaboost方法［18］，利用積分圖法來加快Haar矩形特征的計算，利用多個最佳弱分類器訓練到強分類器。在檢測人臉時使用級聯(lián)的方法來加快檢測速度達到實時檢測的要求。圖2是人臉檢測中分類器訓練的流程圖和人臉檢測的流程圖。

圖2 級聯(lián)分類器的訓練與人臉檢測流程圖

1.4 CBVR框架LIRe

LIRe是使用Java編程語言開發(fā)的一個可擴展的開源CBIR庫［11］。其中，Lucene是Apache軟件基金會項目組下的一個開源的全文檢索引擎包，它使用Java開發(fā)，開發(fā)人員很容易對其擴展，以定制自己的檢索引擎。LIRe就是在Lucene的基礎上，結(jié)合圖像的顏色、邊緣、紋理及局部特征，構(gòu)建CBIR引擎包。LIRe使用的主要圖像特大致可以分為如下幾類:

1)顏色，如顏色布局(Color Layout)、可變長顏色(Scalable Color)、自動顏色關聯(lián)圖(Auto Color Correlogram)、聯(lián)合直方圖、RGB顏色直方圖、Opponent顏色直方圖等。

2)邊緣，如邊緣直方圖(Edge Histogram)，分層梯度方向直方圖(Pyramid Histogram of Oriented Gradients)，顏色和邊緣的方向性描述符(Color and Edge Directivity Descriptor，CEDD)，模糊顏色和紋理直方圖(Fuzzy Color and Texture Histogram，F(xiàn)CTH)等。

3)紋理，如 Tamura Texture Features(粗糙度、對比度、方向度等心理學上的紋理特征)、Gabor紋理特征等。

4)局部特征，如尺度不變特征變換(Scale－Invariant Feature Transform，SIFT)等。

LIRe檢索圖像分為2個步驟:1)索引文件的生成，即特征庫;2)根據(jù)用戶輸入的圖像，從特征庫中查詢出相同或相似的圖像。圖3是LIRe對一幅圖像生成索引的流程示意圖。從圖中可以看出，LIRe首先提取圖像的顏色、紋理等特征，然后用對應的直方圖數(shù)組來表示圖像。最后，按照Lucene的索引格式，將特征數(shù)據(jù)寫入到索引文件，形成“特征庫”。另外，索引文件中還保存了圖像的其他信息，如圖像的名稱、圖像所在路徑等。

圖3 LIRe對一幅圖像生成索引文件的示意圖

LIRe檢索圖像的過程示意圖如圖4所示，檢索圖像需要經(jīng)過如下步驟:

1)對用戶輸入的圖像進行特征提取，生成相應的特征向量A;

2)逐個讀取“特征庫”中的特征向量B;

3)計算輸入圖像的特征向量A與向量B之間的“距離”;

4)按照“距離”的數(shù)值，從小到大排序。距離越小，說明兩者圖像越相近。

圖4 LIRe檢索圖像的過程示意圖

不同特征類型的特征向量之間的距離衡量標準是不同的，比如，對于邊緣特征，使用l1范數(shù)，即設U，V分別代表2幅圖像的邊緣特征向量，它們之間的距離d表示為

式中:L為向量的長度。而且對于特征，比如顏色特征，使用l2范數(shù)距離，即

而CEDD特征則使用Tanimoto系數(shù)，然后將Tonimoto系數(shù)轉(zhuǎn)化為距離。Tanimoto系數(shù)的定義為

特征之間的距離d與Tanimoto系數(shù)之間的轉(zhuǎn)化關系為

總之，通過計算特征之間距離，尋找出最相似的圖像，由于之前特征庫中保存了圖像的名稱、路徑等信息，這樣就能夠找到與之相類似的原圖像，進而完成了“以圖搜圖”的全過程。

1.5 Java Web開發(fā)框架

本系統(tǒng)使用 Java Web開發(fā)技術，系統(tǒng)前端使用JavaScript、Html和Jquery技術，系統(tǒng)后端采用 Struts2+Spring+Hibernate三大主流開源框架開發(fā)。結(jié)合LIRe完成基于內(nèi)容的圖像檢索子系統(tǒng)。同時，用Web的方式管理視頻庫、圖像庫和特征庫。同時為該系統(tǒng)設計了用戶管理模塊。普通用戶可以通過上傳圖像，從多個層次檢索所需視頻。系統(tǒng)管理員擁有普通用戶的權限之外，還可以管理視頻庫、圖像庫和特征庫，控制索引文件的分布和存儲。整個系統(tǒng)具有圖像上傳、圖像特征選取、監(jiān)控視頻播放等功能。用戶只需要使用瀏覽器就可以使用該系統(tǒng)，充分體現(xiàn)了B/S架構(gòu)的優(yōu)點。

2 系統(tǒng)設計

2.1 多層次信息數(shù)據(jù)庫設計

多層次信息數(shù)據(jù)庫的結(jié)構(gòu)圖如圖5所示。首先，通過關鍵幀提取子系統(tǒng)提取出監(jiān)控視頻中的關鍵幀圖像，這些關鍵幀圖像能夠反映監(jiān)控視頻的主要內(nèi)容，在一定程度上去除了監(jiān)控視頻的冗余信息。其次，使用行人檢測子系統(tǒng)和車輛檢測子系統(tǒng)對關鍵幀圖像當中的行人和車輛進行提取，同時，對于行人圖像，再使用人臉識別子系統(tǒng)提取出行人中的人臉圖像，進一步提取出了監(jiān)控視頻中最感興趣的部分。最后，使用LIRe索引生成模塊對生成的圖像分別建立含有圖像特征的特征庫，即Lucene的索引文件，以備檢索。另外，為了能夠根據(jù)檢索出的圖像查找到該圖像所在的視頻，將視頻與圖像的關系保存在關系型數(shù)據(jù)庫中。因此，最終得到的多層次信息數(shù)據(jù)庫包括視頻庫、關鍵幀圖像庫、行人圖像庫、車輛圖像圖、人臉圖像庫以及它們之間的關系數(shù)據(jù)庫和特征庫。

圖5 多層次信息數(shù)據(jù)庫的結(jié)構(gòu)圖

2.2 檢索框架設計

系統(tǒng)采用B/S架構(gòu)，使用Java Web開發(fā)技術，將系統(tǒng)的各個模塊整合成一個多層次的檢索系統(tǒng)。圖6是系統(tǒng)的檢索框架圖，用戶可以從監(jiān)控視頻的場景圖、行人圖像、車輛圖像或者人臉圖像4個角度對監(jiān)控視頻進行檢索。

圖6 系統(tǒng)的檢索框架圖

檢索過程如下:

1)用戶使用瀏覽器，登錄系統(tǒng)的Web頁面，從本地選擇1幅圖像(場景、行人、車輛或人臉)，同時需要選擇檢索時所需要的圖像特征;

2)瀏覽器將圖像上傳到Web服務器后臺;

3)服務器后臺調(diào)用LIRe檢索模塊，根據(jù)用戶選擇的特征，對圖像進行特征提取，生成特征向量;

4)LIRe模塊讀取特征庫，將特征庫中的特征向量與待檢測圖像的特征進行對比，選擇最相近的多幅圖像，根據(jù)相識度排序，生成圖像集;

5)根據(jù)關系數(shù)據(jù)庫中圖像與視頻之間的對應關系，檢索到與該圖像對應的視頻;

6)后臺程序?qū)z索結(jié)果和檢索時間等信息反饋到前端，供用戶瀏覽觀看。

3 檢索實驗

整個海量監(jiān)控視頻檢索系統(tǒng)部署在4臺Sugon天闊I420r－G型流媒體服務器和2臺Sugon海量存儲服務器上，系統(tǒng)總存儲容量為24 Tbyte，操作系統(tǒng)版本為Ubuntu Server 12．04LTS，JDK 版本為 OpenJDK6，Web 容器為Tomact6，系統(tǒng)使用的關系型數(shù)據(jù)庫為MySQL數(shù)據(jù)庫。監(jiān)控視頻素材為選自公司內(nèi)部監(jiān)控視頻、交通路口監(jiān)控視頻以及室內(nèi)監(jiān)控視頻等，數(shù)據(jù)量為15 Gbyte。系統(tǒng)主要分為檢索模塊、索引管理模塊和系統(tǒng)管理模塊，用戶在第一次進行檢索之前，需要使用索引管理模塊生成對應的特征庫。

圖7～圖9表示了一個檢索實例，其中圖7為用戶選擇CEDD特征作為檢索特征的檢索入口頁面。圖8為用戶上傳的待檢索圖像。圖9為檢索結(jié)果的頁面。從檢索結(jié)果的頁面中可以看到，用戶能夠檢索出與之相同或相似的行人圖像，并根據(jù)檢索結(jié)果與原圖像之間的“距離”依次排序。最右邊一列為檢索結(jié)果圖像所屬的監(jiān)控視頻，用戶可以對視頻進行瀏覽和播放。同理，用戶也可以上傳車輛圖像、人臉圖像或者場景圖像對監(jiān)控視頻進行檢索，同樣能夠得到相應的監(jiān)控視頻。

圖7 檢索界面(截圖)

圖10是系統(tǒng)在當前配置下，不同特征下的平均檢索時間，橫坐標是圖像特征，縱坐標是檢索所需要的平均時間。從圖中可以看出，在系統(tǒng)在當前實驗環(huán)境下，能夠?qū)崟r地檢索出所需要的視頻。

圖10 不同特征下系統(tǒng)檢索需要的平均時間

4 結(jié)束語

針對海量監(jiān)控視頻，本文提出了基于內(nèi)容的多層次檢索方案。依次從監(jiān)控視頻中提取有效的關鍵幀圖像、行人圖像、車輛圖像以及人臉圖像等多層次信息，然后利用基于內(nèi)容的圖像檢索技術，建立完善的特征庫和關系型數(shù)據(jù)庫，同時結(jié)合Web開發(fā)技術，形成一套完整的監(jiān)控視頻的檢索系統(tǒng)。系統(tǒng)采用B/S架構(gòu)，使其具有很強的實用性和可擴展性，并且支持海量監(jiān)控視頻的檢索。從實驗結(jié)果可以看出，該系統(tǒng)具有較好的實時性，并能夠較準確地檢索出相應的監(jiān)控視頻。今后的研究工作主要是:進一步提高檢索的實時性和準確性，同時提高整個系統(tǒng)的健壯性和穩(wěn)定性。

:

［1］ PATEL B V，DEORANKAR A V，MESHRAM B B．Content based video retrieval using entropy，edge detection，black and white color features［C］//Proc．2010 2nd International Conference on Computer Engineering and Technology(ICCET)．［S．l．］:IEEE Press，2010:272－276．

［2］ JONES S，SHAO L．Content－based retrieval of human actions from realistic video databases［J］．Information Sciences，2013(236):56－65．

［3］ KEKRE H B，THEPADE S D，GUPTA S．Content based video retrieval in transformed domain using fractional coefficients［J］．International Journal of Image Processing(IJIP)，2013，7(3):237－247．

［4］ LEE F，KOTANI K，CHEN Q，et al．Fast search for MPEG video clips from large video database using combined histogram features［C］//Proc．the World Congress on Engineering．London:［s．n．］，2010:637－640．

［5］徐忠強．電視新聞節(jié)目基于內(nèi)容的視頻檢索技術及實現(xiàn)［J］．電視技術，2008，32(1):72－74．

［6］ O＇CONNOR N E，MARLOW S，MURPHY N，et al．Fischlar:an on－line system for indexing and browsing broadcast television content［EB/OL］．［2013－12－20］．http://www．lw20．com/2011050311769609．html．

［7］ CAMPBELL M，HAUBOLD A，LIU M，et al．IBM research TRECVID－2007 video retrieval system［EB/OL］．［2013－12－20］．http://www．doc88．com/p－478420540695．html．

［8］ BAYONA A，SANMIGUEL J C，MARTINEZ J M．Stationary foreground detection using background subtraction and temporal difference in video surveillance［C］//Proc．2010 17th IEEE International Conference on Image Processing(ICIP)．［S．l．］:IEEE Press，2010:4657－4660．

［9］ KOMAGAL E，VINODHINI A，SRINIVASAN A，et al．Real time background subtraction techniques for detection of moving objects in video surveillance system［C］//Proc．2012 International Conference on Computing，Communication and Applications(ICCCA)．［S．l．］:IEEE Press，2012:1－5．

［10］ LUX M，CHATZICHRISTOFIS S A．Lire:lucene image retrieval:an extensible java CBIR library［C］//Proc．the 16th ACM International Conference on Multimedia．Vancouver:［s．n．］，2008:1085－1088．

［11］ LUX M．Content based image retrieval with lire［C］//Proc．the 19th ACM International Conference on Multimedia．［S．l．］:ACM，2011:735－738．

［12］ KOGLER M，LUX M．Robust image retrieval using bag of visual words with fuzzy codebooks and fuzzy assignment［C］//Proc．the 12th International Conference on Knowledge Management and Knowledge Tech-nologies．［S．l．］:ACM，2012:34－37．

［13］ TRUONG B T，VENKATESH S．Video abstraction:a systematic review and classification［J］．ACM Transactions on Multimedia Computing，Communications，and Applications(TOMCCAP)，2007，3(1):3．

［14］ ZIVKOVIC Z．Improved adaptive Gaussian mixture model for background subtraction［C］//Proc．the 17th International Conference on Pattern Recognition，2004．［S．l．］:IEEE Press，2004:28－31．

［15］ ZIVKOVIC Z，HEIHDEN F．Efficient adaptive density estimation per image pixel for the task of background subtraction［J］．Pattern Recognition Letters，2006，27(7):773－780．

［16］ DALAL N，TRIGGS B．Histograms of oriented gradients for human detection［C］//Proc．IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2005．［S．l．］:IEEE Press，2005:886－893．

［17］ CHANG C C，LIN C J．LIBSVM:a library for support vector machines［J］．ACM Transactions on Intelligent Systems and Technology(TIST)，2011，2(3):27．

［18］ VIOLA P，JONES M．Rapid object detection using a boosted cascade of simple features［C］//Proc．the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2001．［S．l．］:IEEE Press，2011:511－518．