視頻智能檢索應(yīng)用與發(fā)展淺談

視頻檢索主要是依賴于視頻算法對(duì)視頻進(jìn)行預(yù)處理，通過對(duì)視頻內(nèi)容進(jìn)行結(jié)構(gòu)化處理，提取出視頻內(nèi)容中的有效信息，進(jìn)行標(biāo)記或者相關(guān)處理后，然后可以通過各種屬性描述進(jìn)行快速檢索。

應(yīng)用背景

在過去的十幾年間，安防行業(yè)建設(shè)由模擬向數(shù)字化轉(zhuǎn)化，數(shù)字化以DVR 和DVS為代表。數(shù)字化之后，實(shí)現(xiàn)了遠(yuǎn)程視頻實(shí)時(shí)監(jiān)控，解決了監(jiān)控系統(tǒng)“看得見”的問題。近幾年，隨著高清視頻監(jiān)控的逐步推廣和普及，視頻監(jiān)控市場(chǎng)已經(jīng)朝著“看得清，看得明”方向發(fā)展。同時(shí)，全國各地的平安城市、平安鄉(xiāng)鎮(zhèn)建設(shè)如火如荼，前端的視頻探頭成千上萬，后端的錄像存儲(chǔ)更是無法用數(shù)量來衡量。現(xiàn)有監(jiān)控建設(shè)中的錄像數(shù)據(jù)應(yīng)用已然陷入困境：

第一，海量視頻數(shù)據(jù)堆積。

近年來，中國視頻監(jiān)控市場(chǎng)受平安城市建設(shè)，北京奧運(yùn)會(huì)，上海世博會(huì)，廣州亞運(yùn)會(huì)，深圳大運(yùn)會(huì)等大型活動(dòng)的安保項(xiàng)目以及各行業(yè)視頻監(jiān)控需求快速增長等因素的刺激和拉動(dòng)，取得了快速發(fā)展，整個(gè)市場(chǎng)規(guī)模迅速擴(kuò)大。我們預(yù)計(jì)，隨著各項(xiàng)政策的繼續(xù)開展和深化，以及交通、教育、金融等各個(gè)行業(yè)用戶的安防意識(shí)的不斷增強(qiáng)，未來視頻監(jiān)控市場(chǎng)仍將保持強(qiáng)勁增長的態(tài)勢(shì)。面對(duì)數(shù)以萬計(jì)的前端攝像頭存儲(chǔ)下來的海量視頻數(shù)據(jù)，如何快速查詢和檢索成了目前最大、最棘手的問題。

第二，人工查看效率低下。

由于人類的生理局限，長時(shí)間專注于單一視頻畫面，過程單調(diào)、乏味，容易造成視頻偵查人員注意力低下，產(chǎn)生視覺疲勞，嚴(yán)重影響審看效率。

因?yàn)槿搜鄣囊曈X疲勞，極易忽略掉重要的目標(biāo)線索，造成“過眼不過腦”的情況。美國圣地亞國家實(shí)驗(yàn)室的研究表明，人對(duì)于單調(diào)的事物無法長時(shí)間的集中注意力，人眼注意畫面超過22分鐘的時(shí)候，則有95%的畫面會(huì)被忽略。因此，一段視頻往往需要花費(fèi)更多的時(shí)間進(jìn)行重復(fù)審看，大大增加了工作量，并且還是無法完全避免遺漏和誤差。這是人工無法避免的視覺誤差。

目前的現(xiàn)實(shí)情況是，被迫使用人海戰(zhàn)術(shù)進(jìn)行視頻檢索和查看。通常一個(gè)案件需要審看周邊幾十個(gè)攝像頭、前后數(shù)天的視頻，所審看的視頻量時(shí)常達(dá)到數(shù)百上千小時(shí)。在目前的人工查看模式下，傳統(tǒng)的方法需要從頭到尾順序播放，往往需要數(shù)倍于原始視頻的時(shí)間才能審看完成，因此需要大量人員連續(xù)加班數(shù)周進(jìn)行視頻的審看。為了規(guī)避遺漏和誤差，很多刑偵隊(duì)采用加大人力投入的方法。但是經(jīng)過實(shí)踐證明，這種方法吃力不討好，仍然解決不了根本的問題。

技術(shù)基礎(chǔ)

視頻檢索主要是依賴于視頻算法對(duì)視頻進(jìn)行預(yù)處理，通過對(duì)視頻內(nèi)容進(jìn)行結(jié)構(gòu)化處理，提取出視頻內(nèi)容中的有效信息，進(jìn)行標(biāo)記或者相關(guān)處理后，然后可以通過各種屬性描述進(jìn)行快速檢索。

因此視頻檢索最主要的是利用視頻檢測(cè)算法對(duì)視頻進(jìn)行結(jié)構(gòu)化描述，目前已經(jīng)在相應(yīng)的產(chǎn)品中得到應(yīng)用的算法主要有以下幾種：行為分析算法、車牌識(shí)別算法、車輛顏色識(shí)別算法、車標(biāo)識(shí)別算法、車型識(shí)別算法、人臉檢測(cè)識(shí)別算法、人體特征識(shí)別算法等。其中人體特征識(shí)別又包括人的年齡、性別、身高、衣服顏色、是否戴眼鏡等特征信息的識(shí)別。

目前在視頻檢索中已經(jīng)得到比較成熟應(yīng)用的算法技術(shù)是行為分析算法、車牌識(shí)別算法、車輛顏色識(shí)別算法、人臉檢測(cè)識(shí)別算法等。

應(yīng)用現(xiàn)狀

目前市場(chǎng)上出現(xiàn)了各種類型的視頻檢索產(chǎn)品，但總體分為兩大類，一類是單機(jī)式的視頻檢索終端，另一類是整體系統(tǒng)級(jí)的檢索應(yīng)用。這兩種產(chǎn)品形態(tài)在功能上基本相似，只是在一些細(xì)小的功能方面有一些差別。單機(jī)式的檢索終端主要滿足客戶的一些現(xiàn)場(chǎng)零時(shí)性的視頻檢索需求，而終端服務(wù)器類型的主要是滿足整體監(jiān)控系統(tǒng)視頻檢索應(yīng)用的需求。

單機(jī)式視頻檢索終端一般為一臺(tái)工業(yè)級(jí)筆記本進(jìn)行處理。設(shè)備如下圖所示：

系統(tǒng)級(jí)檢索應(yīng)用則需要各種分析服務(wù)器和管理服務(wù)器來完成相應(yīng)的工作，系統(tǒng)主要是軟件應(yīng)用，對(duì)巨大的視頻數(shù)據(jù)進(jìn)行智能分析，數(shù)據(jù)挖掘同意應(yīng)用管理的一套獨(dú)立系統(tǒng)，包含服務(wù)器端軟、硬件模塊和管理軟件，服務(wù)器提供核心處理和各種應(yīng)用服務(wù)，客戶端軟件提供用戶交互應(yīng)用界面，各模塊之間通過IP網(wǎng)絡(luò)進(jìn)行通信、協(xié)同工作。一般來說物理架構(gòu)和模塊架構(gòu)如下圖：

主要功能

1）目標(biāo)圖例查看

通過自動(dòng)化的智能分析預(yù)處理，將雜亂無章、毫無邏輯的監(jiān)控視頻內(nèi)容進(jìn)行梳理，自動(dòng)獲取視頻內(nèi)部的事件及目

產(chǎn)品名稱 功能描述智能視頻錄像分析管理系統(tǒng)（C/S）視音頻智能分析應(yīng)用界面，事件編輯、智能檢索、圖像增強(qiáng)處理，歷史信息查詢、視頻文件上傳、目標(biāo)查看、濃縮、預(yù)處理等功能錄像視頻存儲(chǔ)服務(wù)器 錄像視頻相關(guān)數(shù)據(jù)存儲(chǔ)智能元數(shù)據(jù)存儲(chǔ)處理器 智能分析結(jié)果（元數(shù)據(jù)）結(jié)構(gòu)化存儲(chǔ)智能分析管理服務(wù)器 對(duì)智能分析任務(wù)進(jìn)行管理、分發(fā)智能分析執(zhí)行服務(wù)器 對(duì)智能分析任務(wù)的執(zhí)行，支持集群模式，支持快至上百倍的分析能力圖片存儲(chǔ)服務(wù)器 用于存儲(chǔ)智能分析出的圖片資源轉(zhuǎn)碼服務(wù)器 將多種格式碼流轉(zhuǎn)成統(tǒng)一格式的錄像文件圖像增強(qiáng)服務(wù)器 圖像增強(qiáng)服務(wù)

各服務(wù)器具體功能描述：標(biāo)的關(guān)鍵信息，并根據(jù)這些信息生成視頻內(nèi)容及索引。刑偵人員可以通過查看目標(biāo)圖例，就可在幾分鐘內(nèi)，查看數(shù)個(gè)小時(shí)視頻中包含的所有目標(biāo)，并確定其行為，完成對(duì)視頻中信息的甄選。視頻查看人員查看這些視頻索引，就如同看一本書的概述及目錄一樣，既可以快速的了解視頻的內(nèi)容，也可以快速定位到視頻中所需要重點(diǎn)關(guān)注的片段。

2）目標(biāo)視頻段點(diǎn)播下載

在審看視頻中，刑偵人員通過對(duì)案情的分析，根據(jù)所有關(guān)注目標(biāo)的一些特征，通過設(shè)置智能排查規(guī)則的方式，即可快速定位到刑偵人員所關(guān)注的目標(biāo)及視頻片段上，并達(dá)到秒級(jí)響應(yīng)，而不用再需要花費(fèi)大量的時(shí)間重新分析整個(gè)視頻，可以把時(shí)間和精力放到有價(jià)值的視頻內(nèi)容審看上。

3）智能濃縮播放

基于智能分析技術(shù)的新型視頻播放方式，它能根據(jù)用戶的意愿自動(dòng)控制播放速度，將涉案視頻中真正有用的證據(jù)、線索內(nèi)容進(jìn)行慢速的播放，用戶不關(guān)注的內(nèi)容采用快進(jìn)播放的方式進(jìn)行瀏覽。這種方式極大節(jié)約了審看人員的瀏覽時(shí)間，加快了視頻內(nèi)容的審看速度。

4）目標(biāo)特征類型過濾查詢

系統(tǒng)可以對(duì)目標(biāo)圖例或排查結(jié)果的類型進(jìn)行過濾，在目標(biāo)結(jié)果較多的情況下，系統(tǒng)支持將目標(biāo)中的類型進(jìn)行分離，進(jìn)一步縮小關(guān)注范圍，比如人、顏色等。

5）視頻中人臉提取

通過智能分析預(yù)處理以及人臉檢測(cè)算法，將監(jiān)控視頻中的人臉進(jìn)行整理匯總，獲取視頻內(nèi)感興趣目標(biāo)的相關(guān)信息，并根據(jù)這些人臉信息生成索引。相關(guān)人員可以通過查看人臉圖示，就可在幾分鐘內(nèi)，查看數(shù)個(gè)小時(shí)視頻中包含的所有目標(biāo)，并確定嫌疑目標(biāo)，也可觀看該目標(biāo)在整個(gè)視頻中的存在片段與運(yùn)動(dòng)軌跡。

6）圖片人臉快速檢索

在外部獲取非常有價(jià)值的包含嫌疑人臉的圖片，想在大量的視頻源中查找出這個(gè)嫌疑人其他信息，這時(shí)候用戶可以將圖片導(dǎo)入系統(tǒng)中，系統(tǒng)會(huì)自動(dòng)檢出這張圖片中所有人的頭像，用戶可以按相似度進(jìn)行排列，選取相關(guān)片段進(jìn)行再次分析，獲取有效信息。

7）車牌目標(biāo)快速提取

通過自動(dòng)化的智能分析預(yù)處理以及規(guī)則下的智能排查，將監(jiān)控視頻中的內(nèi)容進(jìn)行整理匯總，獲取視頻內(nèi)感興趣目標(biāo)的相關(guān)信息，并根據(jù)這些信息生成索引，主要是以車牌信息呈現(xiàn)。相關(guān)人員可以通過查看車牌圖例，就可在幾分鐘內(nèi)查找到目標(biāo)車牌，并可觀看該目標(biāo)在整個(gè)視頻中的存在片段。

系統(tǒng)可對(duì)目標(biāo)圖例或排查結(jié)果的類型過濾，將車牌信息列出，用戶可以自行選擇關(guān)注的車牌圖片，觀看大圖，這樣就可以獲取車牌對(duì)應(yīng)的車輛信息（車身顏色，車牌號(hào)碼，車型）。

系統(tǒng)將視頻分析處理之后，顯示出車牌信息，用戶在諸多圖片中找出重點(diǎn)關(guān)注的車牌，可以將此車牌相關(guān)的視頻片段導(dǎo)出，以作為重點(diǎn)依據(jù)。

視頻檢索技術(shù)應(yīng)用的總結(jié)與展望

?？低暤囊曨l檢索系統(tǒng)采用高效智能分析算法技術(shù)（周界防范、人臉、車牌），保證分析信息的全面和準(zhǔn)確，同時(shí)系統(tǒng)采用集群化計(jì)算方式，可提供幾十上百倍以上的快速分析能力，并可根據(jù)應(yīng)用需要進(jìn)行線性擴(kuò)展，提高計(jì)算能力。在視頻資料錄入的同時(shí)，自動(dòng)對(duì)視頻中的目標(biāo)信息進(jìn)行格式歸一化與智能預(yù)處理分析，提取視頻中目標(biāo)的相關(guān)信息作為智能元數(shù)據(jù)保存至數(shù)據(jù)庫中。之后的相關(guān)操作，如智能審看、智能檢索等等就不用再做復(fù)雜的解碼以及智能分析的工作，而是直接從智能元數(shù)據(jù)中提取，大大提高了工作效率。

根據(jù)智能元數(shù)據(jù)信息，可對(duì)目標(biāo)及目標(biāo)細(xì)化特征等視頻內(nèi)容級(jí)別進(jìn)行篩選，如顏色、人/車分類等。用戶還可根據(jù)實(shí)際情況的需要自定義設(shè)置不同的周界防范規(guī)則，通過在數(shù)據(jù)庫中對(duì)元數(shù)據(jù)進(jìn)行檢索提取觸發(fā)規(guī)則的目標(biāo)信息，達(dá)到快速檢索的目的，極大地提高了效率。

在今后的發(fā)展中，視頻數(shù)據(jù)深化應(yīng)用會(huì)越來越成熟。主要從以下幾方面得到深入應(yīng)用：

1、基于特征的檢索功能更加完善反應(yīng)。

基于特征的檢索功能，在目前的應(yīng)用系統(tǒng)中已經(jīng)初步實(shí)現(xiàn)了簡(jiǎn)單的人車等信息區(qū)分，后續(xù)的應(yīng)用將對(duì)更加多的特征進(jìn)行分類，用戶可以通過這些特征快速的從視頻中找到相應(yīng)的事件和所需的信息。這些特征主要分人的特征和車的特征：如人的臉部特征，體毛特征，衣服顏色，高度，發(fā)型等特征。車的特征：主要是車牌、車型、車身顏色、車標(biāo)等特征。

2、關(guān)聯(lián)檢索應(yīng)用。

當(dāng)各種特征識(shí)別和檢索等都達(dá)到一定的應(yīng)用，同時(shí)結(jié)合各種地理信息平臺(tái)，系統(tǒng)能夠結(jié)合公安刑偵的實(shí)際應(yīng)用，通過各種視頻分析，檢索，線索分析，視頻關(guān)聯(lián)，行蹤分析等，形成一套以案情發(fā)展為主線的，關(guān)聯(lián)各種有效視頻信息的檢索應(yīng)用。這是視頻數(shù)據(jù)挖掘和深度應(yīng)用，在不久的將來必將成為現(xiàn)實(shí)。

3、為視頻建立事件和特征索引。

巨大視頻數(shù)據(jù)的有效管理也將是未來的一個(gè)難題。如何將視頻信息有效的建立一套管理系統(tǒng)，能夠快速、方便、準(zhǔn)確地找到有效事件和有效信息，將改變目前這種現(xiàn)狀。以后的視頻數(shù)據(jù)都會(huì)通過視頻特征提取技術(shù)，為每一個(gè)有效的視頻數(shù)據(jù)打上數(shù)字標(biāo)簽，建立以有效事件及有效特征為索引的視頻管理系統(tǒng)。這樣的管理系統(tǒng)能夠?qū)⑼活愋偷囊曨l數(shù)據(jù)進(jìn)行分類管理，也能夠方便的找出各種類型的事件和各種特征的人物和車輛等。

隨著技術(shù)的發(fā)展和人類不斷的探索，在不久的將來，這些技術(shù)必將成為現(xiàn)實(shí)。