視頻結(jié)構(gòu)化技術(shù)視頻數(shù)據(jù)的“賦能者”

□ 文 /高靖

隨著城市視頻監(jiān)控系統(tǒng)的大規(guī)模部署,視頻監(jiān)控探頭已深入城市各個(gè)毛細(xì)血管，在公安天網(wǎng)、智能交通、政府監(jiān)管、企業(yè)運(yùn)營(yíng)等各行各業(yè)產(chǎn)生大量的監(jiān)控視頻數(shù)據(jù)。以公安天網(wǎng)建設(shè)為例，一個(gè)中小型城市部署安裝一萬(wàn)路高清前端探頭，按三個(gè)月為一個(gè)存儲(chǔ)周期，則需要36PB存儲(chǔ)空間，相當(dāng)于兩個(gè)淘寶帝國(guó)的存儲(chǔ)需求。而龐大的視頻數(shù)據(jù)存儲(chǔ)在存儲(chǔ)設(shè)備中，屬于低密度，低價(jià)值，往往只有在需要調(diào)閱的時(shí)候才能艱難的發(fā)揮其作用。

然而隨著邊緣計(jì)算、云計(jì)算、大數(shù)據(jù)技術(shù)的不斷深入，面向大規(guī)模實(shí)時(shí)視頻監(jiān)控?cái)?shù)據(jù)和歷史視頻圖像數(shù)據(jù)的處理方式也進(jìn)入了更深層次的演變：

實(shí)時(shí)視頻在傳輸過(guò)程中，通過(guò)邊緣計(jì)算，提供就近計(jì)算和服務(wù)，對(duì)視頻流數(shù)據(jù)進(jìn)行實(shí)時(shí)的時(shí)空信息標(biāo)注，字符提取、特征提取，目標(biāo)分類，結(jié)構(gòu)化標(biāo)注等圖像處理工作，并快速傳輸給中心計(jì)算處理。

計(jì)算中心對(duì)海量前端傳輸回來(lái)的視頻圖像數(shù)據(jù)，提供云計(jì)算能力，快速高效并發(fā)的對(duì)這些初步結(jié)構(gòu)化的信息進(jìn)行二次加工，精細(xì)化的分類和細(xì)節(jié)化結(jié)構(gòu)化信息，形成時(shí)空維度的目標(biāo)動(dòng)態(tài)數(shù)據(jù)。

大數(shù)據(jù)技術(shù)則依據(jù)業(yè)務(wù)邏輯，模型，規(guī)則等方法，對(duì)動(dòng)態(tài)數(shù)據(jù)與自身檔案庫(kù)存放的靜態(tài)數(shù)據(jù)進(jìn)行進(jìn)一步的碰撞，合并，篩選，快速輸出業(yè)務(wù)期望的結(jié)果。

因此，邊緣計(jì)算，云計(jì)算提供的是兩種不同方式的視頻結(jié)構(gòu)化手段，大數(shù)據(jù)技術(shù)，則是對(duì)視頻結(jié)構(gòu)化后產(chǎn)生結(jié)果的進(jìn)一步歸納總結(jié)。

視頻結(jié)構(gòu)化技術(shù)介紹

視頻結(jié)構(gòu)化技術(shù)在安防行業(yè)，特別是視頻監(jiān)控行業(yè)中得到了廣泛的應(yīng)用，主要的應(yīng)用場(chǎng)景有：一，運(yùn)動(dòng)目標(biāo)結(jié)構(gòu)化描述，代表技術(shù)視頻濃縮摘要技術(shù)；二，車輛結(jié)構(gòu)化描述，代表技術(shù)車牌識(shí)別，車型車系識(shí)別等；三，人臉結(jié)構(gòu)化描述，代表技術(shù)人臉檢測(cè)和人臉識(shí)別。

運(yùn)動(dòng)目標(biāo)結(jié)構(gòu)化描述提取視頻中的運(yùn)動(dòng)目標(biāo)（人、車和物）及它們的屬性（顏色、速度、大小、方向、類型等）；主要應(yīng)用于平安城市等監(jiān)控范圍較大的場(chǎng)景；

前景檢測(cè)技術(shù)

首先利用連續(xù)輸入的圖像序列，訓(xùn)練得到一個(gè)背景圖像，如下圖：

然后把需要檢測(cè)的視頻數(shù)據(jù)中的一幀圖像和背景圖像進(jìn)行比對(duì)，獲取差異的像素點(diǎn)，然后對(duì)這些像素點(diǎn)進(jìn)行連通性標(biāo)記，這些標(biāo)記的區(qū)域就是目標(biāo)，根據(jù)標(biāo)記區(qū)域，可以把目標(biāo)從圖像中摳出來(lái)；

最后，使用第一幀圖像標(biāo)記的區(qū)域（即初始的目標(biāo)）作為跟蹤的初始值，然后對(duì)這些目標(biāo)進(jìn)行跟蹤，形成連續(xù)的跟蹤軌跡，即獲取到目標(biāo)的運(yùn)動(dòng)軌跡序列。

視頻摘要和濃縮技術(shù)

利用前景檢測(cè)技術(shù)，可以把視頻中運(yùn)動(dòng)目標(biāo)提取出來(lái)，其中包含目標(biāo)運(yùn)動(dòng)軌跡序列和目標(biāo)圖像序列，同時(shí)識(shí)別出這些目標(biāo)的屬性（顏色、速度、大小、方向、類型）；在提取目標(biāo)的過(guò)程中，可獲取到目標(biāo)出現(xiàn)和消失時(shí)圖像數(shù)據(jù)在文件中的偏移位置；

視頻摘要技術(shù)，使用某種策略，在目標(biāo)圖像序列中取一張圖片代表這個(gè)目標(biāo)，以圖片的方式把所有目標(biāo)展示給用戶；用戶可以根據(jù)條件（顏色、速度、大小、方向、類型）查找目標(biāo)，查找到的結(jié)果是符合條件的目標(biāo)的圖片，且可以觀看目標(biāo)出現(xiàn)前后的原始視頻，因?yàn)樵谀繕?biāo)提取過(guò)程中，已經(jīng)獲取到目標(biāo)出現(xiàn)和消失時(shí)圖像數(shù)據(jù)在文件中的偏移位置；

視頻濃縮技術(shù)是對(duì)視頻內(nèi)容的一個(gè)簡(jiǎn)單概括，以自動(dòng)或半自動(dòng)的方式，通過(guò)對(duì)視頻中的運(yùn)動(dòng)目標(biāo)進(jìn)行算法分析，提取運(yùn)動(dòng)目標(biāo)，然后對(duì)各個(gè)目標(biāo)的運(yùn)動(dòng)軌跡進(jìn)行分析，將不同的目標(biāo)拼接到一個(gè)共同的背景場(chǎng)景中，并將它們以某種方式進(jìn)行組合，生成新的濃縮后視頻的一種技術(shù)；

下圖中，input video表示原始視頻，videosynopsis表示濃縮視頻。在原始視頻中，在t1時(shí)候出現(xiàn)一個(gè)人，在圖t2時(shí)候出現(xiàn)一只鳥，通過(guò)視頻濃縮技術(shù)，可以把不同時(shí)候出現(xiàn)的目標(biāo)合并到同一時(shí)候出現(xiàn)，這樣大大節(jié)省瀏覽視頻的時(shí)間；

事件報(bào)警，用戶首先設(shè)定某些規(guī)則（如，括絆線入侵、區(qū)域入侵、穿越圍欄、快速移動(dòng)、徘徊檢測(cè)、逆行檢測(cè)等），如果視頻中的目標(biāo)觸發(fā)了這些規(guī)則，就抓拍一張圖片并附帶報(bào)警信息上報(bào)給用戶；而事件報(bào)警中的大部分事件，也都是基于前景檢測(cè)檢測(cè)出來(lái)的運(yùn)動(dòng)軌跡實(shí)現(xiàn)的。事件報(bào)警一般用于實(shí)時(shí)視頻的分析。

車輛結(jié)構(gòu)化描述

車輛結(jié)構(gòu)化描述是提取視頻中車輛的屬性，如車牌、車型、車輛品牌、車系、年檢標(biāo)、掛件、紙巾盒等，主要應(yīng)用于交通場(chǎng)景，車輛在畫面中必須滿足一定的尺寸識(shí)別效果才比較好。

2010年左右，主流的車輛結(jié)構(gòu)化技術(shù)是視頻卡口抓拍技術(shù)，與傳統(tǒng)的線圈抓拍技術(shù)效果一樣，車輛一經(jīng)過(guò)攝像機(jī)監(jiān)控范圍的某個(gè)位置，就會(huì)產(chǎn)生一張包含該車輛的圖片。單單只抓拍的車輛的圖片還不能滿足用戶的需求，用戶對(duì)自動(dòng)識(shí)別車牌號(hào)碼的需求很大；接下來(lái)的幾年，隨著很多公司對(duì)車牌識(shí)別技術(shù)研發(fā)投入的加大，車牌識(shí)別技術(shù)迅速發(fā)展，準(zhǔn)確率大幅提升；卡口攝像機(jī)在抓拍車輛的同時(shí)自動(dòng)識(shí)別出車牌，并把這些結(jié)果發(fā)送給后端保存；于此同時(shí)，電子警察攝像機(jī)也慢慢的發(fā)展起來(lái)了，電子警察攝像機(jī)除了識(shí)別車牌號(hào)碼，還能獲取車牌顏色和車身顏色；利用車輛跟蹤技術(shù)，結(jié)合信號(hào)燈的信號(hào)，對(duì)車輛的行為進(jìn)行判斷（如，闖紅燈、逆行、壓線、違章變道和不按車道行駛等），如果車輛違章，就會(huì)抓拍多張圖片，作為車輛違章的證據(jù)；

近年來(lái)，對(duì)車輛的結(jié)構(gòu)化描述越來(lái)越精細(xì)，能夠獲取車輛的品牌、車系、年檢標(biāo)、掛件、紙巾盒等信息，其中車型車系的識(shí)別涵蓋了絕大多數(shù)的品牌和子品牌。 用戶可根據(jù)目標(biāo)車型的各項(xiàng)指標(biāo)（如車型、車牌、車牌顏色、車輛顏色車牌號(hào)以及卡口、拍攝時(shí)間等）設(shè)置搜索條件，查詢車輛信息。 利用這些結(jié)構(gòu)化信息，可以偵測(cè)出假牌車、套牌車、故意遮擋、污損車牌、拆卸車牌等違法行為。

目前，對(duì)車輛的車型車系等信息識(shí)別過(guò)程是在后端服務(wù)器中執(zhí)行的，前端攝像機(jī)產(chǎn)生的卡口圖片傳輸?shù)胶蠖朔?wù)中，進(jìn)行二次識(shí)別；在不久的將來(lái)，車型車系等信息的識(shí)別應(yīng)該會(huì)移到前端執(zhí)行，只把識(shí)別結(jié)果（即結(jié)構(gòu)化信息）傳輸?shù)胶蠖朔?wù)器，由后端做其它更深層次的應(yīng)用。

人臉結(jié)構(gòu)化描述

人臉結(jié)構(gòu)化描述是提取視頻中人的屬性，如這個(gè)人是誰(shuí)、性別、年齡、戴眼鏡、胡子、戴帽子、戴口罩等信息，主要應(yīng)用于人臉卡口場(chǎng)景，人臉在畫面中的像素必須足夠大；現(xiàn)在人的結(jié)構(gòu)化描述的主要技術(shù)是人臉檢測(cè)和人臉識(shí)別。人臉檢測(cè)就是利用人臉檢測(cè)算法從視頻中檢測(cè)出人臉的位置和大小；人臉識(shí)別分為三個(gè)步驟：一，根據(jù)檢測(cè)的結(jié)構(gòu)摳出人臉小圖；二，從人臉小圖獲取特征碼（用特征向量來(lái)表示人臉圖像）；三，與人臉庫(kù)（如，歷史庫(kù)、布控庫(kù)等）比對(duì)。人臉識(shí)別系統(tǒng)如下圖：

在企業(yè)、住宅的安全管理中，對(duì)一些敏感人員布控，一旦發(fā)現(xiàn)可疑人物進(jìn)去，系統(tǒng)自動(dòng)報(bào)警，并提示安保人員；可應(yīng)用公安、司法和刑偵，針對(duì)一些人員密集區(qū)域（如車站、地鐵站、機(jī)場(chǎng)等）的關(guān)鍵出入口、通道等卡口位置坐人臉識(shí)別，實(shí)現(xiàn)搜捕嫌疑犯、逃犯等；在重要通關(guān)口岸的身份驗(yàn)證，主要實(shí)現(xiàn)對(duì)進(jìn)出口岸人員和電子護(hù)照及身份證等信息的核實(shí)和確認(rèn)。

視頻結(jié)構(gòu)化的產(chǎn)品化探討

一方面隨著GPU/FPGA等人工智能AI芯片的演進(jìn)和技術(shù)發(fā)展，及深度學(xué)習(xí)框架在工程化技術(shù)方面的成熟，AI芯片和前端IPC的融合是大勢(shì)所趨；另一方面在各地實(shí)際項(xiàng)目中建設(shè)邊緣節(jié)點(diǎn)（含多維感知接入、存儲(chǔ)和視頻智能解析），對(duì)視頻和多維數(shù)據(jù)進(jìn)行就近的存儲(chǔ)、清洗和結(jié)構(gòu)化分析，有效的降低大量視頻流對(duì)網(wǎng)絡(luò)和集中式的數(shù)據(jù)中心的要求。視頻結(jié)構(gòu)化的前移是未來(lái)的一個(gè)重大方向，前端監(jiān)控探頭，計(jì)算節(jié)點(diǎn)將不斷的升級(jí)，融入大量視頻計(jì)算能力，對(duì)視頻圖像非結(jié)構(gòu)化信息實(shí)現(xiàn)實(shí)時(shí)，敏捷的結(jié)構(gòu)化處理。支持提供包括車輛二次分析卡口、人臉識(shí)別卡口、多目標(biāo)提取卡口等多樣化智能安防產(chǎn)品。

中心產(chǎn)品將前端小型存儲(chǔ)，中心計(jì)算集群能力進(jìn)一步升級(jí)，搭載深度學(xué)習(xí)技術(shù)和人工智能算法技術(shù)，提供GPU集群化的云計(jì)算產(chǎn)品，實(shí)現(xiàn)對(duì)海量數(shù)據(jù)強(qiáng)大而高效的并行計(jì)算，達(dá)到能分析人、車、行為多種價(jià)值特征的高品質(zhì)產(chǎn)品。

支持提供：

◆人員：顏色、大小、方向、速度、性別、年齡段等；

◆車輛：品牌、子品牌、年款、車牌，顏色、類別、車檢標(biāo)、遮陽(yáng)板、掛件、擺件、整車圖片特征等標(biāo)簽對(duì)象，能識(shí)別近百余種品牌上千種車型等；

◆行為：安全帶、打手機(jī)、走路、騎電動(dòng)車/摩托車、騎自行車、騎三輪車等。