結(jié)合HVS特性的惡劣環(huán)境下視頻圖像質(zhì)量增強(qiáng)處理

廣東省公安廳科技信息化處科技管理科

（廣東省公安廳，廣東 廣州510050）

結(jié)合HVS特性的惡劣環(huán)境下視頻圖像質(zhì)量增強(qiáng)處理

廣東省公安廳科技信息化處科技管理科

（廣東省公安廳，廣東 廣州510050）

1　項(xiàng)目來(lái)源

“結(jié)合HVS特性的惡劣環(huán)境下視頻圖像質(zhì)量增強(qiáng)處理”項(xiàng)目（項(xiàng)目編號(hào)：2014GABJC018）是2014年度公安部科技強(qiáng)警基礎(chǔ)專(zhuān)項(xiàng)立項(xiàng)項(xiàng)目，由視頻圖像智能分析與應(yīng)用技術(shù)公安部重點(diǎn)實(shí)驗(yàn)室承擔(dān)，2015年9月通過(guò)公安部科技信息化局組織的驗(yàn)收。

2　研究背景及意義

當(dāng)前，平安城市建設(shè)已經(jīng)進(jìn)行了很多年，隨著網(wǎng)絡(luò)化、智能化的提高，智慧城市已經(jīng)向我們走來(lái)。平安城市向智慧城市轉(zhuǎn)變首先離不開(kāi)智能監(jiān)控。高清視頻及城市間的聯(lián)網(wǎng)，產(chǎn)生了大量的數(shù)據(jù)信息，系統(tǒng)集成與結(jié)構(gòu)優(yōu)化緩解了后端存儲(chǔ)的壓力，降低系統(tǒng)部署難度，減少管理和維護(hù)成本，各子系統(tǒng)能夠協(xié)同作戰(zhàn)，對(duì)城市管理意義重大。視頻監(jiān)控系統(tǒng)在公安機(jī)關(guān)打防管控中發(fā)揮的作用越來(lái)越大，但就整體而言，視頻圖像質(zhì)量的問(wèn)題仍然制約著視頻系統(tǒng)效能的充分發(fā)揮。在霧霾、強(qiáng)光惡劣天氣下，圖像模糊，影響公安機(jī)關(guān)對(duì)圖像信息的提取和判斷。2013年開(kāi)始，我國(guó)的空氣質(zhì)量問(wèn)題特別突出，情況堪憂，霧霾的覆蓋率已經(jīng)達(dá)到國(guó)土面積1/7甚至更高。京津冀和長(zhǎng)三角多個(gè)城市多次發(fā)布黃色紅色霧霾預(yù)警。霧霾天氣致使戶外監(jiān)控視頻質(zhì)量明顯降低，不僅圖像色彩暗淡、對(duì)比度大大降低，一些重要目標(biāo)的細(xì)節(jié)更是難以辨識(shí)。在霧霾天氣，空中飄浮著大量的含有粉塵、水汽凝結(jié)成的顆粒物，一旦這些顆粒物密度過(guò)大就會(huì)影響光線的傳播，不僅肉眼看不到信號(hào)燈，普通鏡頭也只是看到一些模糊不清的畫(huà)面，在很多監(jiān)控車(chē)流量的視頻里我們都可以看到類(lèi)似畫(huà)面。因此，如何讓監(jiān)控?cái)z像頭在霧霾、強(qiáng)光惡劣天氣看得清楚，為公安系統(tǒng)提供清晰視頻源，提高視頻系統(tǒng)效能的發(fā)揮具有非常重要的實(shí)用意義和經(jīng)濟(jì)價(jià)值。

3　項(xiàng)目主要研究?jī)?nèi)容

利用人類(lèi)視覺(jué)特性（HVS：Human Visual System）研究霧霾及其它惡劣環(huán)境下的視頻圖像增強(qiáng)技術(shù)，對(duì)攝像頭在捕獲視頻圖像過(guò)程中或者捕獲圖像之后對(duì)圖像進(jìn)行處理，以消除霧霾等不利因素影響，使畫(huà)面清晰化，細(xì)節(jié)信息顯示出來(lái)。該技術(shù)應(yīng)用到公安實(shí)戰(zhàn)中，提高對(duì)霧霾和強(qiáng)光惡劣環(huán)境下的圖像處理能力，使圖像清晰化，并有利于緩解監(jiān)控工作人員的視覺(jué)疲勞。

（1）在分析形成惡劣環(huán)境原因的基礎(chǔ)上，根據(jù)不同的應(yīng)用環(huán)境，采用不同的圖像增強(qiáng)算法。因?yàn)橐鹨曨l圖像降質(zhì)的機(jī)理不同，處理方法不一樣，到目前為止，沒(méi)有一種針對(duì)各種降質(zhì)因素普遍適應(yīng)的視頻增強(qiáng)技術(shù)。

（2）基于大氣散射規(guī)律，建立霧霾天氣所引起的圖像退化模型。充分利用了退化的先驗(yàn)知識(shí)，實(shí)現(xiàn)單幀圖像的去霧功能，然后進(jìn)一步利用最大值濾波方法對(duì)被低估的暗像素值進(jìn)行調(diào)整修復(fù)、通過(guò)檢測(cè)有霧區(qū)的密度方法并采用景深分層方法獲得一定程度圖像增加效果。

（3）結(jié)合HVS視覺(jué)特性，因?yàn)槿搜蹖?duì)視頻圖像的變化值在HVS的視覺(jué)閾值之內(nèi)，人眼可以忽略其變化。而變化值在HVS的視覺(jué)閾值之外，將嚴(yán)重影響視覺(jué)的感知，這些區(qū)域或者像素點(diǎn)稱(chēng)其為視覺(jué)敏感點(diǎn)或視覺(jué)關(guān)注點(diǎn)。在這部分的工作中，本項(xiàng)目首先探測(cè)出這些視覺(jué)關(guān)注點(diǎn)，然后對(duì)關(guān)注點(diǎn)采用基于HVS亮度響應(yīng)的自適應(yīng)增強(qiáng)算法，實(shí)現(xiàn)圖像質(zhì)量增強(qiáng)。

該項(xiàng)技術(shù)能夠從多個(gè)角度提升視頻監(jiān)控的質(zhì)量，可以用于各種有霧天氣條件的透霧處理；能明顯提升圖像的對(duì)比度、清晰度；能夠顯著增強(qiáng)圖像的細(xì)節(jié)信息，使原來(lái)模糊不清的圖像細(xì)節(jié)被充分展示處理；能夠提升圖像的飽和度，使圖像色彩鮮艷活潑、生動(dòng)，透霧處理后的圖像保持準(zhǔn)確的色調(diào)、自然的外觀，因而獲得了良好的圖像質(zhì)量與視覺(jué)感受。

4　突破的關(guān)鍵技術(shù)及取得成果

該項(xiàng)目研發(fā)出一個(gè)視頻圖像智能分析軟件，是基于目前國(guó)際領(lǐng)先的高性能視頻圖像增強(qiáng)及復(fù)原算法，將視頻圖像寬動(dòng)態(tài)增強(qiáng)處理、視去霧增強(qiáng)處理、智能分析、檔案管理等功能融合一體的視頻圖像處理軟件。

（1）利用兩通道的聯(lián)合非局部相似性約束聯(lián)合濾波，能夠提高大氣散射數(shù)據(jù)估計(jì)精度。

（2）利用不同參數(shù)的兩通道的聯(lián)合非局部相似性約束聯(lián)合濾波，得到符合人眼視覺(jué)的差值圖像，有助于進(jìn)一步對(duì)大氣散射估計(jì)進(jìn)行精細(xì)估計(jì)。

（3）利用三通道的聯(lián)合相似性約束聯(lián)合濾波，能夠有效恢復(fù)去霧圖像，進(jìn)一步降低去霧后圖像的噪聲。

主要應(yīng)用于專(zhuān)業(yè)的車(chē)牌超分辨、背光人臉?lè)直?、去霧處理、尤其在摘要檢索前處理可提高許多倍摘要準(zhǔn)確率等，同時(shí)可改進(jìn)、提升惡劣環(huán)境下的視頻監(jiān)控圖像的畫(huà)面質(zhì)量。

5　應(yīng)用成效及前景

本項(xiàng)目所研發(fā)的視頻圖像智能分析軟件無(wú)需對(duì)原有前端硬件做任何更改即可獲得更高質(zhì)量的視頻。該軟件產(chǎn)品采用無(wú)縫接入的方式融入新設(shè)計(jì)的監(jiān)控系統(tǒng)，增加系統(tǒng)功能，但不增加硬件成本，對(duì)已有平臺(tái)或正在建設(shè)中的監(jiān)控平臺(tái)都能靈活接入、配置和使用，從而大大節(jié)省用戶的資金使用效益。此外，本軟件提供的協(xié)同工作功能，能在有限人手情況下，短時(shí)間處理大量、時(shí)間跨度長(zhǎng)的監(jiān)控視頻，從而減少傳統(tǒng)視頻證據(jù)提取的工作量，達(dá)到節(jié)約警力的效果。