桂林鴻圖科技有限公司視頻摘要技術(shù)分析

楊顯桔　李佳瑩　鄭獻(xiàn)煥　范遠(yuǎn)航

摘要：目前基于內(nèi)容的視頻檢索技術(shù)最大的挑戰(zhàn)是獲取可視化、高濃縮和完整的視頻摘要及良好視覺體驗(yàn)的呈現(xiàn)方式。而本研究是基于超大規(guī)模視頻分析與檢索的關(guān)鍵性問題一視頻摘要技術(shù)。核心問題是如何有效地提取視頻上用戶感興趣的內(nèi)容（如對象、事件等），并通過時域信息濃縮在特定空域內(nèi)來緊湊地袁達(dá)海量視覺內(nèi)容。

關(guān)鍵詞：視頻分析與檢索；視頻摘要技術(shù)；視覺信息

1研究現(xiàn)狀

目前的視頻監(jiān)控系統(tǒng)，雖然建設(shè)了數(shù)量龐大的攝像監(jiān)控點(diǎn)，獲得了海量的視頻和圖像存儲數(shù)據(jù)，但是往往無法提供足夠的人力對眾多的視頻進(jìn)行實(shí)時監(jiān)看，同時由于缺乏對預(yù)警目標(biāo)狀態(tài)的實(shí)時了解，導(dǎo)致事前預(yù)警困難、對突發(fā)事件的響應(yīng)缺乏實(shí)時情報支撐、對錄像數(shù)據(jù)中感興趣內(nèi)容的檢索缺乏高效手段，或者缺乏關(guān)鍵特寫數(shù)據(jù)，對各個警種所需情報的形成、分析與利用造成了極大的困難，也構(gòu)成了目前大多數(shù)在建天網(wǎng)系統(tǒng)的應(yīng)用瓶頸，使得巨大的建設(shè)成本無法真正為公安業(yè)務(wù)高效服務(wù)。

根據(jù)安防機(jī)關(guān)實(shí)戰(zhàn)業(yè)務(wù)需求分析，本項(xiàng)目要求提供情報收集、情報整理、情報分析、情報檢索、情報研判和情報管理六大功能模塊，解決了多個大規(guī)模視頻聯(lián)網(wǎng)系統(tǒng)中具有挑戰(zhàn)性的應(yīng)用問題：

●情報收集手段與內(nèi)容單一

一般系統(tǒng)只是為“看圖像”服務(wù)，情報的唯一來源是視頻錄像，視頻信息大多由安裝在公共場合的固定監(jiān)控點(diǎn)攝像頭提供，各路視頻內(nèi)容之間沒有關(guān)聯(lián)性。

●情報收集不具備行業(yè)針對性

一般系統(tǒng)在監(jiān)控點(diǎn)的設(shè)計只考慮場景的監(jiān)控，不會針對這些行業(yè)中情報收集的特點(diǎn)進(jìn)行細(xì)化設(shè)計。

●視頻內(nèi)容認(rèn)知困難

一般系統(tǒng)由于缺乏智能化的手段，對感興趣圖像畫面（場景）、目標(biāo)、身份、事件、特征、軌跡、特寫、語音與通信關(guān)聯(lián)視頻的自動化認(rèn)知非常困難，本設(shè)計要求此系統(tǒng)通過智能目標(biāo)采集與識別、多攝像機(jī)關(guān)聯(lián)分析、電磁時空分析等多種手段提供被監(jiān)控目標(biāo)的實(shí)時信息，方便預(yù)警與針對性目標(biāo)監(jiān)控應(yīng)用，同時可以在錄像中根據(jù)被監(jiān)控對象的身份、特征、通信定位、相關(guān)事件迅速尋找到相關(guān)的目標(biāo)畫面或者軌跡。

●情報檢索效率低下

本設(shè)計要求此系統(tǒng)通過視頻濃縮、身份錄像綁定檢索、特征檢索技術(shù)及高效的索引形成方法，使得用戶可以對感興趣圖像畫面（場景）、目標(biāo)、身份、事件、特征、軌跡、特寫進(jìn)行高效和精確的檢索。

●缺乏情報整理工具

一般系統(tǒng)缺乏視頻情報的編輯與整理工具，用戶既無法檢索，更談不上對基于視頻的情報進(jìn)行不同的邏輯推理，或者進(jìn)行不同視頻內(nèi)容的關(guān)聯(lián)性分析。

自動的場景內(nèi)容進(jìn)行標(biāo)注，使得通過標(biāo)簽關(guān)鍵詞檢索視頻簡單快捷。

●缺乏情報研判與管理工具

一般系統(tǒng)無法將監(jiān)控視頻與情報研判做直接的結(jié)合，往往需要大量的人力查找錄像，并在此基礎(chǔ)上由不同的人做主觀研判。

2研究內(nèi)容

桂林鴻圖科技有限公司是一家立足于高新技術(shù)型產(chǎn)品的科技發(fā)展公司，總部位于桂林高新產(chǎn)業(yè)園。本項(xiàng)目的研究是建立在一個多模態(tài)信息融合的視頻摘要及基于時域濃縮的可視化摘要呈現(xiàn)機(jī)制。本公司擁有先進(jìn)的超大規(guī)模視頻檢索技術(shù)，并以此技術(shù)為核心產(chǎn)生了數(shù)據(jù)挖掘系統(tǒng)軟件，通過技術(shù)與軟件相結(jié)合，與全國各地的相關(guān)企業(yè)合作達(dá)到共同盈利。

在今年中央推行“街區(qū)制”小區(qū)的國內(nèi)大背景下，本公司的產(chǎn)品更具加具有有效保障居民安全的重要意義。

3現(xiàn)狀分析

3.1市場分析

據(jù)《2011-2015年中國安防視頻行業(yè)投資前景分析報告》指出，安防產(chǎn)業(yè)長期以來將持續(xù)受益，具備持續(xù)增長的動力，而這種動力主要來源于下游需求、消費(fèi)者安放意識、消費(fèi)能力、科技實(shí)力以及法規(guī)政策等產(chǎn)業(yè)主要推動因素的良性發(fā)展。目前我國安防產(chǎn)業(yè)規(guī)模還偏小，目前主要應(yīng)用于公安，公路交通，金融以及大型商場等行業(yè)，民用市場遠(yuǎn)未啟動；從我國安防行業(yè)的發(fā)展態(tài)勢來看，處于快速發(fā)展期，且正向爆發(fā)增長期發(fā)展，整個行業(yè)有很大的提升空間，很高的市場地位。

3.2市場容量估算

根據(jù)IMS Research最新發(fā)布的預(yù)測，2010年中國安防系統(tǒng)集成市場容量達(dá)到62億美金，市場預(yù)計將在2014年增長至130億美金。據(jù)調(diào)查，中國安防系統(tǒng)集成市場中，安防和服務(wù)市場在2010年占據(jù)了近40%的市場份額。這個比重預(yù)計將在今后四年內(nèi)迅速提升。預(yù)計在2014年，安裝和服務(wù)市場將會是2010年的兩倍以上。安防產(chǎn)業(yè)資深分析師張博評論到：“越來越多的系統(tǒng)集成商在軟件方面投入更多的研發(fā)精力，創(chuàng)造更多的附加價值。

就本公司產(chǎn)品而言，面向市場廣泛，中國的行政區(qū)域基本分為?。ㄗ灾螀^(qū)、直轄市、特別行政區(qū)）、縣（自治縣、市）、鄉(xiāng)（鎮(zhèn)）三級，中國總計有34個省級行政單位，23個省，5個自治區(qū)，4個直轄市和2個特別行政區(qū)，每個地區(qū)都要有自己的公安部門，因此面向市場廣泛。

4營銷模式

a、企業(yè)發(fā)展短期戰(zhàn)略：

公司第一年到第三年為公司短期戰(zhàn)略期，期間目標(biāo)市場為廣西區(qū)內(nèi)市場；目標(biāo)客戶廣西區(qū)內(nèi)的社區(qū)監(jiān)控系統(tǒng)，農(nóng)業(yè)監(jiān)測與監(jiān)控系統(tǒng)等；在產(chǎn)品上主打視頻檢索處理軟件；初步構(gòu)建廣西區(qū)的銷售渠道；在供應(yīng)鏈方面初步確立一批合作伙伴；在公司發(fā)展初期構(gòu)初級的信息系統(tǒng)；同時為公司的中期戰(zhàn)略實(shí)施做一些鋪墊性工作。

b、企業(yè)發(fā)展中期戰(zhàn)略：

公司第四年到第五年為公司中期戰(zhàn)略期，本時期市場戰(zhàn)略為進(jìn)一步穩(wěn)固廣西區(qū)內(nèi)市場、承接公司短期戰(zhàn)略進(jìn)入以廣州、深圳為中心的華南地區(qū)市場；目標(biāo)客戶為華南地區(qū)的社區(qū)監(jiān)控系統(tǒng)，農(nóng)業(yè)監(jiān)測與監(jiān)控系統(tǒng)，公安系統(tǒng)，水利水庫監(jiān)控等；在產(chǎn)品上公司將開發(fā)出智能視頻分析軟件定制能力，其應(yīng)用覆蓋分布式智能交通視頻監(jiān)控（超過20項(xiàng)智能對象、事件識別功能）、智能環(huán)保監(jiān)控（污染、煙霧和火焰檢測等；在關(guān)系市場形成穩(wěn)定的銷售渠道；在供應(yīng)鏈建設(shè)方面從企業(yè)前期發(fā)展中合作的伙伴或其他企業(yè)中確定企業(yè)發(fā)展的戰(zhàn)略發(fā)展伙伴；在信息化方面公司具備更強(qiáng)的信息管理能力及公司運(yùn)營的基本信息化。

c、企業(yè)發(fā)展長期戰(zhàn)略：

公司成立第六年到第十年進(jìn)入公司長期戰(zhàn)略期，公司的戰(zhàn)略是走向全國市場，構(gòu)建起一條穩(wěn)固的供應(yīng)鏈，在渠道商、供應(yīng)商、技術(shù)研發(fā)、產(chǎn)品目標(biāo)客方面均由相應(yīng)的戰(zhàn)略合作伙伴。為公司業(yè)務(wù)在獲得全國范圍內(nèi)的拓展奠定基礎(chǔ)。

5管理模式

總經(jīng)理：全面主持公司的行政工作，協(xié)調(diào)各機(jī)構(gòu)的工作；組織制訂公司的季度發(fā)展、規(guī)劃及管理計劃；確保公司運(yùn)營符合法規(guī)，并和董事會定期匯報公司工作運(yùn)轉(zhuǎn)情況，和董事會溝通協(xié)調(diào)關(guān)系；承擔(dān)公司公關(guān)職責(zé)。

其他各部門各司其職，相互協(xié)作，追求利益最大化。

6特色與創(chuàng)新點(diǎn)

（1）提出新的STT圖像融合策略，將不同時間出現(xiàn)的不同對象和事件根據(jù)用戶對場景的感興趣程度與視覺飽和度濃縮到同一視頻幀中，保留了視頻內(nèi)容的完整，并獲得摘要幀中極高的信息飽和度；

（2）建立MMAR多模態(tài)的視頻摘要模型，高效融合了視頻、音頻、文本等多種媒體內(nèi)容，并形成可高速回溯的視頻摘要信息分層顯示、分類的對象與事件索引。

（3）設(shè)計新的基于摘要的查詢導(dǎo)航機(jī)制，可提供跨越時域到空域、甚至不同媒體快速的內(nèi)容檢索，準(zhǔn)確地檢索出目標(biāo)內(nèi)容。為視頻內(nèi)容檢索應(yīng)用奠定了基礎(chǔ)。