視頻結(jié)構(gòu)化技術(shù)讓大數(shù)據(jù)騰飛

□ 文/本刊記者 羅超

服務(wù)實戰(zhàn)，深化大數(shù)據(jù)，助力行業(yè)業(yè)務(wù)變革，這是視頻結(jié)構(gòu)化技術(shù)的使命，也代表了新時期下關(guān)乎于安防創(chuàng)新的新思路。

如何讓數(shù)據(jù)用起來，真正切近實戰(zhàn)，是智慧城市、雪亮工程建設(shè)的研究方向，而視頻結(jié)構(gòu)化就是讓大數(shù)據(jù)直通來解放警力。它代表著新一代視頻監(jiān)控技術(shù)的技術(shù)方向，也是行業(yè)創(chuàng)新的一個新起點。

什么是視頻結(jié)構(gòu)化技術(shù)

視頻結(jié)構(gòu)化技術(shù)肯定是針對非結(jié)構(gòu)化數(shù)據(jù)的處理，它是一種基于視頻內(nèi)容信息提取的技術(shù)，它對視頻內(nèi)容按照語義關(guān)系，采用時空分割、特征提取、對象識別等處理手段，組織成可供計算機和人類理解的結(jié)構(gòu)化信息的技術(shù)。從數(shù)據(jù)處理的流程看，視頻結(jié)構(gòu)化技術(shù)能夠?qū)⒎墙Y(jié)構(gòu)化的視頻數(shù)據(jù)轉(zhuǎn)化為人和機器可理解的結(jié)構(gòu)化或者半結(jié)構(gòu)化情報信息，并進(jìn)一步轉(zhuǎn)化為公共安全實戰(zhàn)所用的情報數(shù)據(jù)，實現(xiàn)視頻數(shù)據(jù)向信息化、情報化的方向轉(zhuǎn)化，達(dá)到視頻感知世界的智慧應(yīng)用。視頻結(jié)構(gòu)化既是海量視頻實現(xiàn)信息化、情報化轉(zhuǎn)化行之有效的技術(shù)，也是當(dāng)前公共安全領(lǐng)域中對視頻結(jié)構(gòu)化處理的一個指向性方案。

其實視頻結(jié)構(gòu)化技術(shù)早在智能視頻分析在行業(yè)展開應(yīng)用時已經(jīng)出現(xiàn)，只是當(dāng)時的智能分析較為簡單，同時也并沒有源源不斷的海量監(jiān)控視頻數(shù)據(jù)。在2010年當(dāng)高清成為行業(yè)大潮時，視頻結(jié)構(gòu)化技術(shù)開始簡單應(yīng)用。不過，當(dāng)時受限于算法的成熟度和硬件性能，早期的智能分析更多的是依靠后端的智能服務(wù)器來實現(xiàn)，直到各類智能分析算法日漸成熟，同時前端硬件性能得到大幅提升，前端智能的趨勢才越來越明顯，各類智能攝像機也紛紛涌現(xiàn)，這時的視頻結(jié)構(gòu)化技術(shù)才真正能大展拳腳。

由此可見，視頻結(jié)構(gòu)化是依賴于智能分析算法，其處理方式也有兩種，一種是通過具有感知能力的智能攝像機提取結(jié)構(gòu)化數(shù)據(jù)，再將數(shù)據(jù)傳送到后端進(jìn)行存儲或是開展深入分析，另一種是前端攝像機只采集原始視頻，由后端的智能服務(wù)器來對原始視頻進(jìn)行智能分析，形成結(jié)構(gòu)化數(shù)據(jù)。需要指出的是，有業(yè)界有種錯誤觀點，把視頻結(jié)構(gòu)化技術(shù)歸為智能視頻分析技術(shù)當(dāng)中，其實兩者都是并列關(guān)系，共同服務(wù)于大數(shù)據(jù)，讓大數(shù)據(jù)真正的用起來，進(jìn)而提升視頻監(jiān)控價值。

為什么需要視頻結(jié)構(gòu)化

既然視頻結(jié)構(gòu)化對行業(yè)有指向性，那必然有其巨大的價值，同時該項技術(shù)能解決當(dāng)下視頻監(jiān)控的弊端。那么，我們的視頻監(jiān)控行業(yè)遇到了哪些困難？

缺少視頻信息情報的標(biāo)準(zhǔn)化生成方法，進(jìn)而缺少利用視頻信息情報指導(dǎo)偵查、破案的新型警務(wù)工作模式?，F(xiàn)在視頻監(jiān)控的應(yīng)用已融入民警的日常辦案工作當(dāng)中，但不少公安系統(tǒng)仍舊采用是人工的方式去瀏覽、排查，費時費力。

視頻信息的跨域、跨警種共享以及與其他信息系統(tǒng)的互聯(lián)互通問題突出，跨系統(tǒng)的語言不統(tǒng)一造成信息成為一個個的孤島，限制了大情報、大信息系統(tǒng)的建設(shè)及應(yīng)用。

存儲傳輸?shù)膯栴}，由于要節(jié)省大量的存儲空間及傳輸帶寬的限制，不得不對視頻數(shù)據(jù)進(jìn)行大量壓縮，不僅造成圖像模糊的問題，而且視頻壓縮時固定壓縮比的方式不夠靈活，不得不占用大量的存儲空間及傳輸帶寬。

高效計算的問題，由于視頻監(jiān)控要求計算的多功能性和實時性，而視頻數(shù)據(jù)的特殊性，帶來計算成本的增加，需要構(gòu)建統(tǒng)一的用于視頻監(jiān)控的視頻計算理論和框架。

視頻信息化情報化警務(wù)應(yīng)用各環(huán)節(jié)缺乏統(tǒng)一的標(biāo)準(zhǔn)和規(guī)范。所有這些問題的根本在于對視頻內(nèi)容的不理解，沒有一個高效的、標(biāo)準(zhǔn)化的視頻數(shù)據(jù)交換和視頻情報提取的方法。解決這些實際問題，需要對視頻結(jié)構(gòu)化描述及以此技術(shù)為核心的新型視頻監(jiān)控系統(tǒng)構(gòu)建進(jìn)行重點研究。

迎接視頻監(jiān)控系統(tǒng)深度應(yīng)用的挑戰(zhàn)，其核心及瓶頸是通過研究視頻結(jié)構(gòu)化描述技術(shù)解決視頻監(jiān)控數(shù)據(jù)向視頻信息、視頻情報的轉(zhuǎn)化，實現(xiàn)警務(wù)工作模式的創(chuàng)新。

總之，建筑電氣是建筑施工中一項非常重要的環(huán)節(jié)，它能夠提高建筑的電氣化水平，為居民的生活提供更多的便利。但是，由于建筑電氣所涉及的因素眾多，在使用的過程中會存在很多的安全隱患，一旦操作不當(dāng)必然會發(fā)生安全事故，對居民的人身財產(chǎn)安全產(chǎn)生影響。因此，建筑企業(yè)需要加強對建筑電氣設(shè)計的重視程度，根據(jù)建筑的實際情況和相應(yīng)的規(guī)范要求，通過安全節(jié)能的措施做好建筑電氣的設(shè)計工作。

由此看出，在大數(shù)據(jù)的時代，視頻信息如何高效提取，如何同其他信息系統(tǒng)進(jìn)行標(biāo)準(zhǔn)數(shù)據(jù)交換、互聯(lián)互通及語義互操作等問題的解決之道是視頻結(jié)構(gòu)化技術(shù)。用視頻結(jié)構(gòu)化技術(shù)改造傳統(tǒng)的視頻監(jiān)控系統(tǒng)，使之形成新一代的視頻監(jiān)控系統(tǒng)，也就是我們常說的智慧化、語義化、情報化的視頻監(jiān)控系統(tǒng)。

視頻結(jié)構(gòu)化技術(shù)能做些什么

依據(jù)以上，那么視頻結(jié)構(gòu)化具體能做些什么呢？視頻結(jié)構(gòu)化技術(shù)應(yīng)用主要體現(xiàn)在對車輛特征、人像特征、行為事件等辨識方面。

車輛特征辨識

隨著智能交通電子警察、交通卡口、治安卡口、停車場的廣泛建設(shè)和應(yīng)用，借助智能識別算法獲取電子警察、卡口、停車場出入口等場所的車輛相關(guān)結(jié)構(gòu)化信息存入車輛主題庫，通過對車輛特征識別和梳理，提取有用信息，以便于視頻追蹤辨認(rèn)、比對，最終達(dá)到車輛查證的目的，從而實現(xiàn)交通運輸服務(wù)和管理智能化。車輛的描述信息包括車輛號牌、車牌顏色、車輛品牌、車輛類型、車身顏色等。車輛二次分析實戰(zhàn)中的信息包括安全帶、年檢標(biāo)、遮陽板、掛件、擺件、司乘人員等方面的識別。

這其中有個技術(shù)難點就是在車輛個體特征分析中，首先需根據(jù)車輛的大特征來識別車輛種類，然后再根據(jù)其細(xì)節(jié)特征來識別個體車輛。對車輛的個體識別主要依據(jù)車輛上文字的噴涂、車身不干膠裝飾彩條、車內(nèi)飾品懸掛、擺放物品、香水瓶、牌照托架、車尾防靜電條、車前擋風(fēng)玻璃上年檢標(biāo)志、繳費標(biāo)志等的粘貼位置、后擋風(fēng)玻璃上的廣告式樣及粘貼位置等進(jìn)行。基于車輛關(guān)鍵特征信息，形成過車記錄數(shù)據(jù)，從而推動了后臺大數(shù)據(jù)分析服務(wù)的發(fā)展應(yīng)用和行業(yè)數(shù)據(jù)挖掘，形成隱匿車輛挖掘、套牌車輛篩選、初次入城、一車多牌、一牌多車、頻繁過車、相似車輛串并、同行車、高危車輛積分模型、車輛行駛軌跡分析、時空碰撞等實戰(zhàn)技戰(zhàn)法的應(yīng)用。在此基礎(chǔ)上對車輛特征數(shù)據(jù)的大數(shù)據(jù)搜索，即可迅速找到所有符合條件的車輛信息，包括行駛時間與方向、行駛速度、車標(biāo)、車牌、年款等。還可結(jié)合以圖搜圖的檢索方法，在實戰(zhàn)平臺上調(diào)取相關(guān)視頻和圖像文件，快速查詢到有關(guān)嫌疑車輛信息，還原車輛行駛的軌跡歷史信息，實現(xiàn)嫌疑車輛在整個城市的全程運行軌跡查詢或結(jié)合視頻監(jiān)控信息，實現(xiàn)車輛全程化的可視化軌跡回放，以及對涉事車輛的精準(zhǔn)布控和查詢，也可以聯(lián)合公安車輛管理信息庫，實現(xiàn)車人關(guān)聯(lián)。

去年金鼎獎評測中東方網(wǎng)力的視頻結(jié)構(gòu)化服務(wù)器讓記者印象深刻，基于深度學(xué)習(xí)算法，在車輛算法方面，借助深度學(xué)習(xí)技術(shù)，率先在市場推出了網(wǎng)力完全自主知識產(chǎn)權(quán)的車輛特征識別技術(shù)，實現(xiàn)了高效精準(zhǔn)的車輛品牌識別功能。對于車輛個體特征的分析，他們設(shè)置了“結(jié)構(gòu)化任務(wù)”功能單元，設(shè)備支持用戶對管轄范圍內(nèi)的攝像機點位設(shè)置實時結(jié)構(gòu)化任務(wù)，并進(jìn)行車輛實時結(jié)構(gòu)化處理，實現(xiàn)結(jié)構(gòu)化結(jié)果的快速檢索。同時，設(shè)備還支持用戶在案事件發(fā)生后對與案事件相關(guān)的攝像機點位的相關(guān)時間段的視頻設(shè)置視頻結(jié)構(gòu)化任務(wù)。提取人、車和非機動車的特征信息，幫助用戶在海量的視頻中快速查找和定位嫌疑人或嫌疑車輛。除了為了讓車輛特征識別與平臺對接，還設(shè)置了智能檢索、車輛布控、系統(tǒng)管理，這都是為實戰(zhàn)服務(wù)。

人像特征辨識

人臉識別借助人像識別及智能搜索技術(shù)的深度應(yīng)用，對視頻中人員的面部精確定位、面部特征提取，視頻中的人臉圖像被自動檢出后，與后臺人像模型數(shù)據(jù)進(jìn)行特征比對匹配，從而對人員身份進(jìn)行判別和告警。在人體結(jié)構(gòu)化基礎(chǔ)上進(jìn)行檢索查詢，可以解決快速目標(biāo)查找問題，如將事件人的截圖輸入至偵查系統(tǒng)中，利用人形檢索的功能，系統(tǒng)根據(jù)目標(biāo)人的衣著、顏色分布、體態(tài)特征快速地在事發(fā)點附近的多路攝像頭中進(jìn)行全局搜索，查找出相似的目標(biāo)，并將結(jié)果以快照的形式輸出，結(jié)合GIS地圖進(jìn)行時空研判分析，刻畫出事件人的行動軌跡。

曠視是中國人工智能計算機視覺領(lǐng)域排頭兵，他們的智能人像卡口大數(shù)據(jù)系統(tǒng)整體解決方案中，監(jiān)控攝像機拍到的視頻在經(jīng)過曠視的結(jié)構(gòu)化云服務(wù)系統(tǒng)后，能夠檢測、判斷監(jiān)控視頻中人員的性別、年齡、民族、衣著、背包、雨傘或行李，甚至對行走方向和行走速度等條件進(jìn)行結(jié)構(gòu)化語義檢索;還可通過多組攝像機的抓拍記錄及人員比對，對目標(biāo)嫌疑人進(jìn)行行為軌跡、出行規(guī)律分析，為公安人員提供案情線索，實現(xiàn)靈活布控打擊。

行為事件辨識

對于行為事件的描述信息包括：車輛行為如違反交通信號指示燈、超速行駛、違反行車標(biāo)識、禮讓行人、交通流量統(tǒng)計等多種行為特征描述；人體行為如越界、區(qū)域、徘徊、遺留、聚集、人流量統(tǒng)計等多種行為特征描述；物體行為如遺留、丟失、位移等行為特征描述。這種行為事件辨識的能力，要將視頻結(jié)構(gòu)化技術(shù)移植到產(chǎn)品中行業(yè)并不多見，技術(shù)難點相對于前兩者更高，或許需要更高級階段的人工智能技術(shù)來突破。?？怠矮C鷹”是一款能夠從視頻中挖掘數(shù)據(jù)的智能結(jié)構(gòu)化服務(wù)器。它專注于將監(jiān)控視頻中的有效信息進(jìn)行快速、準(zhǔn)確的結(jié)構(gòu)化提取，挖掘?qū)τ脩粽嬲袃r值的關(guān)鍵。該產(chǎn)品在高性能模式下僅車輛視頻，分析路數(shù)更多；高質(zhì)量模式下可同時對活動目標(biāo)中的多種關(guān)鍵特征進(jìn)行提取，效果更佳。多任務(wù)動態(tài)分配資源，靈活應(yīng)用于實時視頻流或歷史流分析行為事件。

總之，你要問視頻結(jié)構(gòu)化技術(shù)能做些什么，歸納來看就是服務(wù)實戰(zhàn)，深化大數(shù)據(jù)，助力業(yè)務(wù)變革。

視頻結(jié)構(gòu)化技術(shù)應(yīng)用前景

之前也提到，視頻結(jié)構(gòu)化技術(shù)最早在2010年出現(xiàn)。八年間，視頻結(jié)構(gòu)化與智能化并行發(fā)展，服務(wù)于大數(shù)據(jù)實戰(zhàn)，成為了視頻監(jiān)控未來的主流技術(shù)之一，必然是萬眾期待。從應(yīng)用前景看，視頻監(jiān)控技術(shù)所面臨的巨大市場潛力為視頻結(jié)構(gòu)化描述提供了廣闊的應(yīng)用前景。尤其是在公安行業(yè)，他們希望建設(shè)一個結(jié)合圖像處理技術(shù)、大數(shù)據(jù)技術(shù)和云計算技術(shù)來實現(xiàn)視頻圖像結(jié)構(gòu)化處理平臺系統(tǒng)，實現(xiàn)以機器自動處理為主的視頻信息處理和分析，快速提取實時監(jiān)控視頻或監(jiān)控錄像中的視頻信息，并存儲于中心數(shù)據(jù)庫中。平臺能夠?qū)崟r對監(jiān)控區(qū)域的錄像文件進(jìn)行特征分析（如顏色、大小、方向、時間、地點等），使原來需要數(shù)小時查看的文件，在幾分鐘內(nèi)可以快速瀏覽查看。用戶通過結(jié)構(gòu)化視頻合成回放，可以快捷的預(yù)覽視頻覆蓋時間內(nèi)的可疑事件和事件發(fā)生時間。并可以根據(jù)結(jié)構(gòu)化短片中的單個事件索引，直接鏈接播放可疑事件的原始視頻，觀看整個事件的真實情況。

此外，視頻結(jié)構(gòu)化技術(shù)緊緊抓住視頻內(nèi)容信息處理和網(wǎng)絡(luò)化共享應(yīng)用的主線，行業(yè)力爭經(jīng)過若干年的技術(shù)攻關(guān)和系統(tǒng)建設(shè)，全面實現(xiàn)監(jiān)控視頻信息的情報化、視頻監(jiān)控網(wǎng)絡(luò)的智慧化，強化警務(wù)視頻應(yīng)用的普適性。即實現(xiàn)以機器自動處理為主的視頻信息處理和分析，并且通過技術(shù)手段轉(zhuǎn)化為公安工作可用的情報；實現(xiàn)監(jiān)控網(wǎng)絡(luò)之間、終端之間、警種之間的信息共享和主動互操作，實現(xiàn)主動監(jiān)控、自動聯(lián)網(wǎng)分析等網(wǎng)絡(luò)功能；全方位拓展視頻在警務(wù)工作中的應(yīng)用模式，大幅度提高技術(shù)的易用性，實現(xiàn)以業(yè)務(wù)民警為中心的隨時隨地的靈活、簡單、多樣的視頻按需服務(wù)應(yīng)用。

除了公安行業(yè)，視頻結(jié)構(gòu)化技術(shù)的主流應(yīng)用場景在智能交通。目前電警卡口在圖偵上的應(yīng)用需求和頻率早就超越了交警，因為案件基本都要與車輛發(fā)生聯(lián)系，這能找出很多的線索。而卡口電警對于車輛的抓拍角度是相對固定的，能夠開發(fā)出相應(yīng)的車輛特征識別技術(shù)，電警卡口屬于業(yè)務(wù)需求和技術(shù)實現(xiàn)的一個很好的匹配點。這就是視頻結(jié)構(gòu)化的應(yīng)用儲備，國內(nèi)有部分廠家已經(jīng)開發(fā)出的攝像機能突破平面圖像特征的局限，得到更精準(zhǔn)的三維系信息，如人體數(shù)量，高度，物體長度等。為此，人們對于監(jiān)控視頻中有價值的信息挖掘不僅只是局限于當(dāng)前車輛、人的基本信息，在應(yīng)用市場的不斷推動下，可以不斷對視頻結(jié)構(gòu)化提取的關(guān)鍵信息進(jìn)行有效補充，為最終的大數(shù)據(jù)平臺提供更有價值的數(shù)據(jù)入口。海量監(jiān)控視頻中蘊含著巨大的能量，把數(shù)據(jù)挖掘出來，視頻結(jié)構(gòu)化技術(shù)及其產(chǎn)品不僅讓視頻大數(shù)據(jù)成為可能，更是為深度的行業(yè)應(yīng)用提供源源不斷的動力。

雪亮工程是最近幾年大熱的建設(shè)項目，以全域覆蓋、全網(wǎng)共享、全時可用、全程可控為建設(shè)目標(biāo)，那么，針對全程可控是否視頻結(jié)構(gòu)化服務(wù)器能定制化開發(fā)便于群眾共治的功能呢？又或是前端的AI攝像機能否具備結(jié)構(gòu)化處理能力，比如對車輛特征、人像特征、行為事件的簡單分析，簡單聯(lián)動響應(yīng)？

結(jié)束語

服務(wù)實戰(zhàn)，深化大數(shù)據(jù)，助力行業(yè)業(yè)務(wù)變革，這是視頻結(jié)構(gòu)化技術(shù)的使命，也代表了新時期下關(guān)乎于安防創(chuàng)新的新思路。