下一代智能視頻監(jiān)控新技術(shù)發(fā)展方向

■ 江浩

安防行業(yè)已經(jīng)開始對新一代智能視頻分析技術(shù)進(jìn)行研究，提出了一些新的產(chǎn)品形態(tài)，新的應(yīng)用模式，新的系統(tǒng)架構(gòu)。這些新技術(shù)、新產(chǎn)品正在逐漸與市場結(jié)合，探求新的發(fā)展空間。

近年來在視頻監(jiān)控市場中，智能視頻分析技術(shù)成為熱點(diǎn)產(chǎn)品，諸如行為分析、車牌識(shí)別、人臉抓拍、客流統(tǒng)計(jì)等智能化技術(shù)，在城市管理、公共安全、銀行、交通等行業(yè)得到了較廣泛的應(yīng)用，取得了很好的社會(huì)效益和經(jīng)濟(jì)效益，成為安防企業(yè)一個(gè)新的技術(shù)制高點(diǎn)和發(fā)展方向。

隨著智能化技術(shù)的普及使用，市場漸漸不再滿足于現(xiàn)有的智能化技術(shù)種類，而是尋求更新的算法、更豐富的業(yè)務(wù)應(yīng)用、更整體化的系統(tǒng)應(yīng)用，力求實(shí)現(xiàn)在應(yīng)用的廣度、深度上的突破。為此，安防行業(yè)已經(jīng)開始對新一代智能視頻分析技術(shù)進(jìn)行研究，提出了一些新的產(chǎn)品形態(tài)，新的應(yīng)用模式，新的系統(tǒng)架構(gòu)。這些新技術(shù)、新產(chǎn)品正在逐漸與市場結(jié)合，探求新的發(fā)展空間。

智能視頻的創(chuàng)新方向

在基礎(chǔ)的智能監(jiān)控需求已經(jīng)得到滿足的情況下，智能視頻新技術(shù)集中向著幾個(gè)方向發(fā)展：

1、提升視覺感官體驗(yàn)的技術(shù)，包括圖像防抖動(dòng)、圖像增強(qiáng)等視頻預(yù)處理技術(shù)；

2、提升分析準(zhǔn)確率的技術(shù)，主要是雙目識(shí)別技術(shù)；

3、改善系統(tǒng)應(yīng)用性的技術(shù)，包括多球機(jī)聯(lián)動(dòng)跟蹤等；

4、面向事后分析的技術(shù)，包括圖像復(fù)原、圖像濃縮檢索等技術(shù)。

圖1：NASA的應(yīng)用

圖2：道路監(jiān)控中的應(yīng)用

以下分別就各項(xiàng)技術(shù)的實(shí)現(xiàn)、應(yīng)用及前景做一些分析。

圖像增強(qiáng)技術(shù)

當(dāng)前監(jiān)控系統(tǒng)面臨的重要問題，是受到各種干擾因素的影響，使得系統(tǒng)不能在全天候、全天時(shí)下運(yùn)行，系統(tǒng)的可靠度低，LCC值不經(jīng)濟(jì)。這些干擾因素主要包括如白天環(huán)境下的虛光、泛光、逆光，低照度環(huán)境，監(jiān)控場景中強(qiáng)逆光的干擾，霧、灰霾等的大氣散射環(huán)境干擾，降雨、降雪、沙塵等氣象條件的影響。

圖像增強(qiáng)技術(shù)主要解決的問題，是通過算法對視頻源進(jìn)行視覺改善處理，有效的改善畫質(zhì)，提高圖像的清晰度，提高視覺可分辨性，使原本低質(zhì)量的圖像能夠滿足監(jiān)控需要，達(dá)到清晰可辨的程度。（如圖1、圖2）

圖像增強(qiáng)的技術(shù)實(shí)現(xiàn)途徑，是突出原有圖像中需要重點(diǎn)觀測的內(nèi)容，抑制非重點(diǎn)觀測內(nèi)容，通過對像素的灰度值運(yùn)算處理生成一幅新的圖像，以改善視覺效果。圖像增強(qiáng)的關(guān)鍵技術(shù)問題有：

● 對不同自適應(yīng)不同時(shí)刻、不同程度的干擾因素；

● 自適應(yīng)不同的景深、視角、目標(biāo)內(nèi)容；

● 有效分辨畫面內(nèi)容，充分保留局部細(xì)節(jié)；畫面對比柔和，色彩過渡均衡，亮暗對比適中；色彩恒常性好，不受場景變化影響；

● 正常環(huán)境下不影響畫質(zhì)；未增強(qiáng)的畫面不失真。

圖像增強(qiáng)的產(chǎn)品形態(tài)，涵蓋了從前端、編碼端到后臺(tái)顯示端的處理。在產(chǎn)品定位上，可以分為兩個(gè)方向：一是，普適性產(chǎn)品，重點(diǎn)是正常氣候下，不降質(zhì)。惡劣氣候下有改善，但不是最好。作為標(biāo)配集成到各個(gè)設(shè)備中。二是，專業(yè)級產(chǎn)品，重點(diǎn)解決在惡劣的情況，達(dá)到最好的效果。如霧天專用、深海專用、低照度專用、軍事專用等等作為專用設(shè)備，應(yīng)用整合于特種行業(yè)。

圖像防抖動(dòng)技術(shù)

圖像抖動(dòng)是在交通領(lǐng)域經(jīng)常見到的問題，主要的成因是道路監(jiān)控中高架安裝方式帶來的較高頻率小幅抖動(dòng)，以及車載移動(dòng)監(jiān)控中由于攝像位置變化帶來的低頻大幅抖動(dòng)。在模擬標(biāo)清時(shí)代，主要會(huì)影響了大倍率下的圖像畫面，而在數(shù)字高清時(shí)代，在焦距達(dá)到20mm以上畫面就會(huì)明顯抖動(dòng)，這對于監(jiān)控內(nèi)容的識(shí)別有明顯的影響。

圖4

圖5

圖像防抖動(dòng)的解決途徑主要有幾種：

1、采用軟件技術(shù)進(jìn)行處理。

● 采集完整的傳感器圖像，圖像處理緩沖；

● 為實(shí)現(xiàn)防抖，預(yù)留邊緣圖像，對中心圖像進(jìn)行數(shù)字放大（圖像失真或模糊）；

● 使用預(yù)留邊緣圖像，對圖像進(jìn)行補(bǔ)償，達(dá)到防抖效果（補(bǔ)償區(qū)域縮放，邊緣模糊）；

2、硬件軟件結(jié)合的方式。

● 為彌補(bǔ)圖像數(shù)字放大帶來的圖像模糊問題，使用更大像素的圖像傳感器；

● 采用直接物理像素尺寸，對圖像抖動(dòng)區(qū)域進(jìn)行補(bǔ)償，避免圖像邊緣模糊。（如圖3）

圖像防抖動(dòng)技術(shù)在前端球機(jī)產(chǎn)品中應(yīng)用時(shí)，通常采用軟硬件結(jié)合的方式。技術(shù)關(guān)鍵點(diǎn)之一，是要克服圖像邊緣角落虛焦的現(xiàn)象。

雙目立體視覺技術(shù)

雙目立體視覺技術(shù)的核心目的，是提高識(shí)別的準(zhǔn)確率。由于立體視覺技術(shù)形成的視場中帶有物體的三維幾何信息，因此能夠有效的設(shè)定檢測規(guī)則，排除光線、影子等干擾因素，大幅提高智能分析的準(zhǔn)確度。如果說高清技術(shù)通過提升可用像素來提高分析的準(zhǔn)確率，是戰(zhàn)術(shù)性的舉措，那么雙目立體視覺技術(shù)對視頻分析準(zhǔn)確率的影響則是戰(zhàn)略性的。

雙目立體視覺技術(shù)是基于視差原理，并利用成像設(shè)備從不同的位置獲取被測物體的兩幅圖像，通過計(jì)算圖像對應(yīng)點(diǎn)間的位置偏差，來獲取物體三維幾何信息的方法。（如圖4、圖5）

采用雙相機(jī)或多相機(jī)，對視場內(nèi)空間的自由運(yùn)動(dòng)體的三維位置坐標(biāo)及姿態(tài)進(jìn)行高精度的測量，確定運(yùn)動(dòng)目標(biāo)的質(zhì)心位置，并根據(jù)標(biāo)定結(jié)果對運(yùn)動(dòng)目標(biāo)進(jìn)行高精度跟蹤。

立體視覺技術(shù)的跟蹤，由于能夠辨識(shí)目標(biāo)的三維坐標(biāo)、姿態(tài)、相對距離、與背景環(huán)境的空間距離，因此能適應(yīng)復(fù)雜的跟蹤背景環(huán)境。

多球機(jī)聯(lián)動(dòng)跟蹤

多目標(biāo)識(shí)別與跟蹤技術(shù)是以單球機(jī)智能跟蹤作為基礎(chǔ)，能夠同時(shí)實(shí)現(xiàn)對大范圍內(nèi)多個(gè)活動(dòng)目標(biāo)的智能識(shí)別與跟蹤，并對其中單個(gè)目標(biāo)進(jìn)行智能跟蹤的技術(shù)。

多目標(biāo)識(shí)別與跟蹤技術(shù)在應(yīng)用中，通常使用一臺(tái)固定攝像機(jī)，對廣域范圍內(nèi)目標(biāo)進(jìn)行的智能行為分析，并將同時(shí)監(jiān)控的多個(gè)目標(biāo)按照既定的策略進(jìn)行排序，并按照先后順序，指揮智能跟蹤球機(jī)逐個(gè)跟蹤監(jiān)控目標(biāo)。與單目標(biāo)跟蹤相比，多目標(biāo)跟蹤技術(shù)的關(guān)鍵點(diǎn)是數(shù)據(jù)關(guān)聯(lián)問題，即建立一個(gè)統(tǒng)一的坐標(biāo)系，使得固定攝像機(jī)可以將目標(biāo)的坐標(biāo)信息傳遞給跟蹤球機(jī)，實(shí)現(xiàn)聯(lián)動(dòng)跟蹤。

多目標(biāo)跟蹤的過程可以劃分為以下幾部分：

1、數(shù)據(jù)關(guān)聯(lián)：在觀測數(shù)據(jù)和目標(biāo)之間建立起對應(yīng)關(guān)系。

常見的方法有最近鄰算法、聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)濾波器、多假設(shè)跟蹤算法。

2、狀態(tài)估計(jì)：每個(gè)目標(biāo)根據(jù)其對應(yīng)的觀測進(jìn)行狀態(tài)估計(jì)。

通常采用基于貝葉斯理論的方法，將多目標(biāo)跟蹤問題轉(zhuǎn)化成對多個(gè)單目標(biāo)的跟蹤過程，并建立相應(yīng)的狀態(tài)空間模型。為每個(gè)目標(biāo)分配一個(gè)單目標(biāo)跟蹤器，相互獨(dú)立地跟蹤每個(gè)目標(biāo)，通過設(shè)計(jì)一些特殊的方法來處理目標(biāo)之間的交互和遮擋問題。

3、坐標(biāo)傳遞：在主攝像機(jī)和球機(jī)間建立統(tǒng)一的坐標(biāo)系。

在多目標(biāo)監(jiān)控場景中，提取目標(biāo)的位置和運(yùn)動(dòng)軌跡信息，發(fā)送給從攝像機(jī)，從攝像機(jī)根據(jù)目標(biāo)的位置和運(yùn)動(dòng)軌跡信息跟蹤鎖定目標(biāo)。

另外，多目標(biāo)跟蹤技術(shù)在實(shí)際的應(yīng)用中，還需要重點(diǎn)優(yōu)化和改進(jìn)以下方面：提升算法的效率，以實(shí)現(xiàn)同時(shí)能夠跟蹤盡量多的目標(biāo)；需要改進(jìn)算法的抗干擾性能，以減輕光線變化、影子、目標(biāo)間遮擋等常見的干擾因素；需要能夠?qū)γ總€(gè)目標(biāo)排定警戒優(yōu)先級，以使球機(jī)在跟蹤時(shí)能夠及時(shí)切換到威脅等級更高的目標(biāo)。

面向事后應(yīng)用的智能技術(shù)

面對監(jiān)控系統(tǒng)中海量的錄像數(shù)據(jù)，如何有效、高效的應(yīng)用，減輕人工查看回放帶來的時(shí)效性差、成本高、疲勞問題，并在不同分辨率、不同清晰度的錄像中準(zhǔn)確的辨別出需要獲取的信息，行業(yè)提供了視頻復(fù)原、視頻濃縮、視頻結(jié)構(gòu)化檢索等技術(shù)手段。

視頻復(fù)原

視頻復(fù)原解決對模糊錄像的有效辨別問題。通過綜合應(yīng)用超分辨率、銳化濾波、去模糊濾波、輪廓增強(qiáng)、降噪濾波、變形校正、色彩調(diào)整、時(shí)空分析、視頻標(biāo)注、多視頻比對、視頻穩(wěn)定化等智能算法，對對焦不準(zhǔn)、運(yùn)動(dòng)模糊、噪聲干擾等原因?qū)е碌哪：曨l進(jìn)行處理，使之清晰可辨。（如圖6）

視頻濃縮

將視頻濃縮形成視頻片斷，不同時(shí)刻的目標(biāo)“穿越時(shí)空”同時(shí)展現(xiàn)播放，使24小時(shí)的視頻被制作成一個(gè)簡短到幾分鐘濃縮視頻成為現(xiàn)實(shí)。視頻濃縮不僅濃縮的是事件的精華，也是活動(dòng)事件的全部，沒有價(jià)值的視頻將被剔除。通過多分格快照技術(shù)，可以在幾秒中看完所有的活動(dòng)目標(biāo)成為可能，回溯原始視頻功能，瞬間鎖定目標(biāo)在原始視頻中的位置。這些智能視頻分析功能的實(shí)現(xiàn)和應(yīng)用將大大提高海量視頻監(jiān)控錄像分析的效率。（如圖7）

圖6

圖7

圖8：輸入“紅色衣服的人”檢索條件，比對得到相似度高的目標(biāo)列表

視頻分類檢索

傳統(tǒng)的視頻搜索功能主要是以物理?xiàng)l件的設(shè)定為主要搜索條件的，比如時(shí)間，日期等。而智能視頻檢索功能能夠通過認(rèn)為設(shè)定的智能條件進(jìn)行快速的視頻搜索。比如：特定場景的變化條件、嫌疑物體（人、車、其他特征物體）的出現(xiàn)等為搜索條件，進(jìn)行特定視頻條件的智能搜索，結(jié)合其他智能視頻功能，可以使大量的無序信息在短時(shí)間內(nèi)形成有價(jià)值的證據(jù)鏈。（如圖8）

視頻分類檢索技術(shù)未來的發(fā)展，應(yīng)當(dāng)是向著結(jié)構(gòu)化錄像存儲(chǔ)的方向，分步驟實(shí)現(xiàn)以下的技術(shù)目標(biāo)：

1、結(jié)構(gòu)化數(shù)據(jù)的可檢索：卡口、電警采集的車牌信息，獨(dú)立的小系統(tǒng)。

2、非結(jié)構(gòu)化數(shù)據(jù)的可檢索：監(jiān)控?cái)z像機(jī)采集的視頻信息，顏色、行為、人臉、車型等。

3、視頻采集時(shí)數(shù)據(jù)結(jié)構(gòu)化處理：在智能球機(jī)、IPC編碼時(shí)自動(dòng)生成視頻數(shù)據(jù)庫，而不是簡單的錄像文件。

結(jié)構(gòu)化錄像存儲(chǔ)是未來的方向，但還需要解決以下以下關(guān)鍵的技術(shù)問題：視覺信息、高層語義信息數(shù)據(jù)描述技術(shù)、分類規(guī)范和信息索引技術(shù)、存儲(chǔ)組織和高效搜索技術(shù)、提高智能分析技術(shù)的準(zhǔn)確度、智能技術(shù)的硬件產(chǎn)品化、異地查詢和交換技術(shù)等。

結(jié)束語

以上，對于當(dāng)前和未來的一些新的智能化視頻技術(shù)的前景、實(shí)現(xiàn)、應(yīng)用方式做了一些概要性的分析?？梢灶A(yù)見的是，這些技術(shù)將與現(xiàn)有的各項(xiàng)智能技術(shù)不斷的融合，并擴(kuò)展到各種產(chǎn)品形態(tài)中，應(yīng)用在視頻監(jiān)控的各個(gè)環(huán)節(jié)，進(jìn)而變化為更多的智能化產(chǎn)品類型，更豐富的業(yè)務(wù)應(yīng)用，更靈活的系統(tǒng)結(jié)構(gòu)，從而推動(dòng)智能視頻技術(shù)更深入的與行業(yè)用戶的業(yè)務(wù)需求相結(jié)合，為視頻技術(shù)開拓出更大的行業(yè)市場。