智能視頻分析在海量視頻檢索中的作用

隨著視頻監(jiān)控系統(tǒng)在公安、交通等敏感領(lǐng)域的大規(guī)模應(yīng)用，電子眼幫助破案的報道時有所耳聞。一方面，這些事例從正面體現(xiàn)了視頻監(jiān)控系統(tǒng)的社會價值；另一方面，也引發(fā)了更多的關(guān)于視頻檢索的深層次需求。在實際應(yīng)用的過程中，用戶常常希望可以快速的從海量的數(shù)以萬計的攝像頭視頻錄像中，方便的找到一些有明顯特征的人或物。傳統(tǒng)的基于預(yù)設(shè)告警和時間的視頻檢索方式，對于這類深層次的需求往往無能為力，常有“隔靴搔癢”之憾，因而如何快速準確的進行智能的檢索就成為大型視頻監(jiān)控系統(tǒng)需要解決的重要課題。

傳統(tǒng)海量存儲技術(shù)的應(yīng)用瓶頸

就平安城市這樣的大型視頻監(jiān)控系統(tǒng)而言，每時每刻系統(tǒng)中都有海量的視頻在進行存儲。這些視頻對于打擊犯罪，保衛(wèi)人民生命財產(chǎn)安全是至關(guān)重要的。目前基于分布式的系統(tǒng)構(gòu)架設(shè)計的大型視頻監(jiān)控平臺，采用分治的方法，綜合使用前端存儲（NVR/DVR），后端存儲（存儲服務(wù)器、磁陣等）等多種策略結(jié)合。從技術(shù)上看，已經(jīng)可以比較穩(wěn)妥的解決海量視頻的存儲問題。但是，主流的基于時間點和預(yù)設(shè)事件的檢索方式相對于當(dāng)前復(fù)雜的治安形勢就過于簡單了。下面以一個現(xiàn)實中的檢索需求為例，對傳統(tǒng)的檢索方式進行分析。

檢索需求：檢索在10：00 到 12:00，出現(xiàn)在某銀行正門附近的，穿白色襯衫的男子。

為實現(xiàn)找到符合條件的視頻，在傳統(tǒng)視頻存儲系統(tǒng)中，將需要很多人力進行人工分析。傳統(tǒng)監(jiān)控系統(tǒng)可以通過GIS比較準確的找到XX銀行正門附近的攝像機，通過時間檢索找到相關(guān)的視頻，之后就需要靠人力進行人為調(diào)看，即使在16倍速的高速瀏覽下，進一步找到相關(guān)視頻也是一件十分浪費人力和時間的事情，而且由于人的參與，長時間觀看導(dǎo)致漏檢的風(fēng)險很大。

我們可以看到，在實現(xiàn)這一檢索需求時，傳統(tǒng)的檢索方式顯得比較笨拙。檢索檢索方式不夠“聰明”，這已經(jīng)成為傳統(tǒng)大型監(jiān)控系統(tǒng)應(yīng)用中的一個瓶頸。

考慮到具體案件的復(fù)雜性，今天關(guān)于“白襯衣”的要求，明天可能變?yōu)椤盎ㄒr衫”，所以用戶不僅要求檢索更加“聰明”，而且也要足夠“靈活”。當(dāng)然，用戶還希望系統(tǒng)能夠盡快完成查詢。那么，我們可以將用戶對海量視頻存儲系統(tǒng)的檢索要求歸納為“更聰明”、“更靈活”、“更快捷”。

使用智能分析技術(shù)提升檢索算法有效性

引入智能視頻分析技術(shù)實現(xiàn)“聰明”和“靈活”

既然，用戶迫切需要檢索更加“聰明”，那么使用智能分析技術(shù)提高系統(tǒng)的“智商”就勢在必行了。

目前應(yīng)用于視頻監(jiān)控的的智能視頻分析技術(shù)可以歸納為：目標(biāo)提取技術(shù)、目標(biāo)分類（識別）技術(shù)以及規(guī)則判斷技術(shù)等3個彼此依存的技術(shù)譜系。這3類技術(shù)構(gòu)成了智能視頻分析系統(tǒng)的3大基本模塊：目標(biāo)提取模塊、分類識別模塊、規(guī)則判斷模塊，如圖1所示。

圖1：智能分析系統(tǒng)結(jié)構(gòu)簡圖

首先，數(shù)字視頻流經(jīng)過視頻解碼，解碼為智能視頻分析系統(tǒng)可以識別的視頻或圖像序列，作為智能視頻分析系統(tǒng)的輸入。分析系統(tǒng)首先使用目標(biāo)提取輸入圖像序列進行前背景分離，完成目標(biāo)提取工作；比較復(fù)雜的智能視頻分析系統(tǒng)一般帶有分類功能，可以對識別出來的目標(biāo)進行模式識別，分辨出目標(biāo)的更多屬性，如比較常見的分類器包括：人車分類，顏色分類、行為分類等；此后系統(tǒng)將被提取的目標(biāo)和與之分類信息，交給規(guī)則判斷模塊，進行規(guī)則推理，如果違反了某些設(shè)定的規(guī)則，系統(tǒng)將輸出告警。

將上文提到的檢索需求套入到上述流程中，可以發(fā)現(xiàn)現(xiàn)有的智能視頻分析技術(shù)在“理論”上能夠幫助完成這個需求?！鞍咨r衣、男子”這些是對分類識別模塊的識別要求，同時也是判斷推理模塊中的規(guī)則。也就是說所謂的更“聰明”對應(yīng)于智能視頻分析技術(shù)就是要求分類識別模塊更強大；檢索的需求一定是會不斷變化的，比如“白襯衣”變成“花裙子”，“男子”變?yōu)椤芭印?，“靈活”的要求需要規(guī)則判斷模塊來完成。

于是，我們可以得到一個新的系統(tǒng)模型（模型1），如圖2所示。這個系統(tǒng)模型在傳統(tǒng)海量存儲系統(tǒng)上增加了智能視頻分析功能，從而完成了使系統(tǒng)變得“聰明”了。

圖2：引入智能分析服務(wù)器的海量存儲系統(tǒng)（模型1）

當(dāng)用戶發(fā)起查詢時，首先通過規(guī)則生成器，將查詢要求翻譯成規(guī)則，輸入規(guī)則推理模塊，之后系統(tǒng)對相關(guān)視頻進行智能分析，也就是進行目標(biāo)提取和目標(biāo)分類識別，同時規(guī)則推理判斷，找出符合要求的視頻，如圖3所示。

圖3：基于模型1的查詢時序圖

這個模型借助智能視頻分析技術(shù)，可以提升查詢系統(tǒng)的“智商”，實現(xiàn)用戶關(guān)于“聰明”和“靈活”的訴求，但是這個系統(tǒng)的效率如何呢？還有一個問題需要考慮，就現(xiàn)在的智能視頻分析技術(shù)而言是否能夠有足夠精確的目標(biāo)提取、模型匹配的精準算法從而來判斷“男女”，區(qū)分“白色襯衫”和“白色風(fēng)衣”的不同。這些問題在現(xiàn)有的分析技術(shù)和算法模型中都是很難解決的，綜上，這個模型存在的問題表現(xiàn)在：

一是效率較低，查詢速度取決于分析速度。

二是對于實際應(yīng)用中的現(xiàn)實要求，智能技術(shù)又無法達到的情況沒有進行處理。

使用視頻分析技術(shù)構(gòu)建“線索”數(shù)據(jù)庫

模型1之所以效率較低，主要是因為需要將可能存在的目標(biāo)進行智能分析，智能分析算法需要時間來完成。這一過程限制了這一模型的效率。

實際上，對于這一問題我們可以通過增加實時視頻智能分析服務(wù)器的辦法，對實時視頻在存儲的同時進行智能分析，同時將目標(biāo)提取模塊、分類識別模塊輸出的結(jié)果保存到數(shù)據(jù)庫中，以提升檢索的效率。這個思路與google所采用的視頻檢索技術(shù)比較類似，只是提取目標(biāo)和分類分析的視頻源不同，進行預(yù)處理的時機不同。至此，得到了一個新的的模型——模型2，如圖4所示。

圖4：帶有線索數(shù)據(jù)庫的海量存儲模型2

模型2在模型1的基礎(chǔ)上，將智能分析的運算分攤到視頻傳輸和存儲的過程中，并引入了數(shù)據(jù)庫將視頻分析的結(jié)果和源視頻的存儲位置關(guān)聯(lián)關(guān)系一并保存到數(shù)據(jù)庫中，提升了整個檢索的反應(yīng)速度，如圖5所示。

圖5：基于模型2的視頻存儲過程

圖6：基于模型2的視頻檢索過程

當(dāng)然這個基于智能視頻的預(yù)處理過程也可以由終端設(shè)備完成，至于終端設(shè)備如何目標(biāo)提取模塊、分類識別模塊分析的結(jié)果發(fā)送給視頻監(jiān)控平臺，可以參考OnVif協(xié)議中的相關(guān)部分。

查詢時，首先模型2針對查詢條件，進行轉(zhuǎn)換，將查詢條件轉(zhuǎn)換為系統(tǒng)可支持的規(guī)則，根據(jù)規(guī)則生成對數(shù)據(jù)庫的查詢語句進行查詢，之后根據(jù)查詢結(jié)果，找到相關(guān)的視頻，如圖6所示。

關(guān)于“誤中”與“漏檢”

鑒于當(dāng)前智能視頻分析技術(shù)的現(xiàn)狀，在上述檢索需求：“檢索在10：00 到 12:00，出現(xiàn)在某銀行正門附近的，穿白色襯衫的男子”中，至少襯衣和男子是比較難以分辨的，考慮到光照等因素，白色的分辨也存在一定困難。也就是說，即使使用了智能分析技術(shù)，由于其分類識別模塊的限制，對于一些查詢需求，也是存在誤中和漏檢可能性的。對于實際應(yīng)用而言，漏檢的危害要大于誤中，基于此，有必要引入一些基于概率論的方法，如貝葉斯方法，來緩解“漏檢”的壓力。

結(jié)束語

綜上所述，智能視頻分析技術(shù)的引入可以極大的提升原有海量監(jiān)控視頻存儲系統(tǒng)的檢索效率和命中率。但是，限于目前智能視頻分析技術(shù)的現(xiàn)狀，這一方案中還存在一些技術(shù)風(fēng)險。雖然可以借助一些概率方法，引入類似“相似度”的概念來緩解“漏檢”的風(fēng)險，這一方案的離最終的用戶要求還有一段距離。然而，從另一個角度看“距離產(chǎn)生美”，技術(shù)之所以引人入勝，很大程度上就是因為“距離”的存在。有理由相信，隨著行業(yè)的快速發(fā)展，在海量監(jiān)控視頻存儲系統(tǒng)上，引入智能分析技術(shù)將成為一種趨勢。