讓視頻圖像更高清

文/郭維

隨著用戶需求的逐步提高，“高清”成為視頻監(jiān)控領(lǐng)域最迫切而剛性的需求。視頻圖像技術(shù)的不斷提升，也促使監(jiān)控市場(chǎng)的高清化發(fā)展方向愈發(fā)清晰，高清采集、高清傳輸、高清解碼和顯示設(shè)備層出不窮，極大地滿足了人們對(duì)高清畫(huà)質(zhì)的需求。高清設(shè)備帶來(lái)的高分辨率提升了視頻清晰度，但仍不能保證在所有情況下都能看的清楚，看的明白，比如雨天、霧霾等惡劣天氣或者夜間低照度環(huán)境下，雖百萬(wàn)像素也只能望圖興嘆，無(wú)可奈何了；又如為了節(jié)省帶寬而采用高壓縮比編碼帶來(lái)的分塊效應(yīng)，造成圖像質(zhì)量下降。如何解決這些極端環(huán)境造成的畫(huà)質(zhì)大幅下降，在這些惡劣環(huán)境下看得更清楚，這是視頻圖像技術(shù)亟待解決的問(wèn)題。

這就不得不提出“圖像增強(qiáng)”的概念，圖像增強(qiáng)是要改善圖像的視覺(jué)效果，針對(duì)給定圖像的應(yīng)用場(chǎng)合，有目的地強(qiáng)調(diào)圖像的整體或局部特性，將原來(lái)不清晰的圖像變得清晰或強(qiáng)調(diào)某些感興趣的特征，擴(kuò)大圖像中不同物體特征之間的差別，抑制不感興趣的特征，使之改善圖像質(zhì)量、豐富信息量，加強(qiáng)圖像識(shí)別效果，滿足某些特殊分析的需要。在圖像增強(qiáng)技術(shù)的發(fā)展中，抑制或消除圖像噪聲點(diǎn)占據(jù)了很重要的位置，也發(fā)展出很多專門(mén)“去噪”的算法。

圖像增強(qiáng)的技術(shù)特點(diǎn)

圖像增強(qiáng)隸屬于智能分析技術(shù)范疇，只是智能分析意義比較廣泛也被人們所熟知。而圖像增強(qiáng)雖然從技術(shù)上來(lái)看發(fā)展更早，現(xiàn)在市場(chǎng)上的應(yīng)用也越來(lái)越多，卻并沒(méi)有在視頻監(jiān)控領(lǐng)域占據(jù)顯要位置，這種情況的出現(xiàn)與圖像增強(qiáng)自身特點(diǎn)密不可分。

首先智能分析的其他技術(shù)都是基于對(duì)視頻圖像的操作和分析，而視頻圖像增強(qiáng)則直接對(duì)視頻幀圖像的原始數(shù)據(jù)進(jìn)行操作，只有經(jīng)過(guò)了包括增強(qiáng)處理在內(nèi)的一系列處理的原始數(shù)據(jù)才變成最終視頻圖像，顯示到設(shè)備上或進(jìn)行后續(xù)其他處理。更多情況是，圖像增強(qiáng)是作為設(shè)備或者其他技術(shù)的子模塊附帶出現(xiàn)，并沒(méi)有直接呈現(xiàn)給客戶。

行為分析、車(chē)牌識(shí)別、人臉抓拍及客流統(tǒng)計(jì)等應(yīng)用，一般都有標(biāo)準(zhǔn)的適用環(huán)境，有一套標(biāo)準(zhǔn)規(guī)范來(lái)統(tǒng)計(jì)準(zhǔn)確率，也就可以做到統(tǒng)一有效地客觀評(píng)價(jià)，效果優(yōu)劣非常直觀。統(tǒng)一的客觀評(píng)價(jià)對(duì)這些技術(shù)的發(fā)展起到了很好地推動(dòng)，也容易得到客戶的認(rèn)可。反觀圖像增強(qiáng)則沒(méi)有一個(gè)直觀而客觀的評(píng)價(jià)標(biāo)準(zhǔn)，往往要通過(guò)人的主觀評(píng)價(jià)及處理前后的圖像對(duì)比來(lái)判斷。缺乏有效地評(píng)價(jià)指標(biāo)限制了視頻圖像增強(qiáng)技術(shù)的應(yīng)用和發(fā)展，同時(shí)其效果也很難得到客戶的一致認(rèn)可。

在圖像增強(qiáng)技術(shù)的發(fā)展過(guò)程中，出現(xiàn)了各種各樣的方法，應(yīng)該說(shuō)這些方法目的是一致的，那就是提升圖像視覺(jué)效果，但針對(duì)不同的問(wèn)題或者不同的環(huán)境，其所采用的方法卻大相徑庭。圖像增強(qiáng)沒(méi)有統(tǒng)一的理論，它往往是面對(duì)問(wèn)題，針對(duì)特定的問(wèn)題采用特定的方法，如圖像模糊則要用銳化的方法來(lái)增強(qiáng)，而圖像噪點(diǎn)多的情況則要做平滑處理。如何根據(jù)場(chǎng)景的變化選用最佳增強(qiáng)算法，很多時(shí)候甚至需要人工來(lái)干預(yù)，這給視頻圖像增強(qiáng)技術(shù)在監(jiān)控領(lǐng)域的使用帶來(lái)很多不便。

圖像增強(qiáng)的技術(shù)方法

隨著技術(shù)發(fā)展，不斷有新的方法出現(xiàn)，圖像增強(qiáng)方法可分為空間域方法和頻域方法。空間域是單幀圖像自身，通常以直接處理像素為基礎(chǔ)。而頻域則是修改圖像的在頻域里的變換為基礎(chǔ)，常用的有傅里葉變換、小波變換等。

空間域圖像增強(qiáng)方法

空間域增強(qiáng)是指增強(qiáng)構(gòu)成視頻圖像的像素，直接對(duì)這些像素操作的過(guò)程。主要有以下方法：

基本灰度變換：將圖像像素值由一個(gè)范圍映射到另一個(gè)范圍，包括線性變換、對(duì)數(shù)變換和冪次變換等，比如大家熟知的伽瑪校正就是一種冪次變換。通過(guò)灰度變換，可以提高不同像素點(diǎn)間灰度差，提高對(duì)比度，更有利于人眼認(rèn)清細(xì)節(jié)。同時(shí)該方法也是其他一些高級(jí)方法的基礎(chǔ)。

直方圖處理：將原圖像通過(guò)某種變換，得到一副灰度直方圖為均勻分布或者規(guī)定分布的新圖像的方法，是圖像增強(qiáng)算法中最常用、最重要的算法之一。它以概率理論做基礎(chǔ)，運(yùn)用灰度點(diǎn)運(yùn)算來(lái)實(shí)現(xiàn)直方圖的變換，從而達(dá)到圖像增強(qiáng)的目的。通過(guò)直方圖均勻化可以有效改進(jìn)圖像的動(dòng)態(tài)范圍，提高對(duì)比度，更有利于人眼對(duì)細(xì)節(jié)的辨認(rèn)。

平滑空間濾波：平滑空間濾波主要是進(jìn)行過(guò)濾圖像噪點(diǎn)，平滑圖像。平滑濾波方法很多，比如線性平滑濾波，包括均值濾波等，非線性平滑濾波，如中值濾波。線性濾波有很好的平滑效果，可以過(guò)濾噪點(diǎn)，但也會(huì)導(dǎo)致邊緣細(xì)節(jié)的模糊。非線性濾波是對(duì)線性濾波的一個(gè)改進(jìn)，會(huì)對(duì)根據(jù)像素點(diǎn)的狀態(tài)采取不同的策略，可消除一些孤立的噪點(diǎn)，對(duì)圖像細(xì)節(jié)影響不大，但會(huì)對(duì)圖像的邊緣帶來(lái)一定的失真。為了克服以上兩種算法的缺點(diǎn)，人們又提出很多改進(jìn)方案，引入自適應(yīng)的平滑算法，通過(guò)各種方法兼顧噪點(diǎn)的濾除和圖像細(xì)節(jié)的保持。

銳化空間濾波：同平滑空間濾波相反，銳化空間濾波是為了突出圖像中的細(xì)節(jié)或者增強(qiáng)被模糊了細(xì)節(jié)。銳化空間濾波主要通過(guò)一階和二階的銳化濾波器來(lái)實(shí)現(xiàn)，如梯度法，拉普拉斯算子濾波等。銳化空間濾波會(huì)提升圖像細(xì)節(jié)，但也會(huì)使噪聲點(diǎn)得到放大。

綜合方法：為了達(dá)到圖像細(xì)節(jié)和噪點(diǎn)過(guò)濾及對(duì)比度等，人們發(fā)展了很多綜合性方法，如Retinex算法，以人類(lèi)視覺(jué)原理和色感一致性（顏色恒常性）為基礎(chǔ)，可以在動(dòng)態(tài)范圍壓縮、邊緣增強(qiáng)和顏色恒常三方面達(dá)到平衡，因此可以對(duì)各種不同類(lèi)型的圖像進(jìn)行自適應(yīng)性地增強(qiáng)。

頻率域圖像增強(qiáng)方法

頻率域圖像增強(qiáng)是將圖像視為2維信號(hào)，變換到頻率域進(jìn)行過(guò)濾增強(qiáng)操作。圖像從空間域轉(zhuǎn)換到變換域的變換方法很多，如傅立葉變換、沃爾什-哈達(dá)瑪變換、余弦變換、K-L變換以及小波變換等。而傅立葉變換和小波變換則是常見(jiàn)的用于圖像去噪的變換方法。

低通過(guò)濾：類(lèi)似空間平滑濾波，將高頻部分過(guò)濾到，達(dá)到去噪的目的。常用到的有巴特沃斯低通濾波器，高斯低通濾波器等，

高通濾波：類(lèi)似銳化空間濾波，保留更多高頻部分，達(dá)到提升圖像細(xì)節(jié)的目的，但也會(huì)帶來(lái)噪點(diǎn)的放大。

頻率域圖像增強(qiáng)由于要進(jìn)行頻率變換，計(jì)算復(fù)雜度比較高，在監(jiān)控視頻領(lǐng)域的應(yīng)用受到一定限制。

其他方法

前面提到的都是數(shù)字圖像處理的傳統(tǒng)方法，運(yùn)算簡(jiǎn)單，缺點(diǎn)也很明顯，針對(duì)性比較強(qiáng)，效果單一，很難在噪聲過(guò)濾和邊緣細(xì)節(jié)保持上同時(shí)兼顧。近些年來(lái)，為了在噪聲過(guò)濾的同時(shí)兼顧到細(xì)節(jié)保持發(fā)展出了很多新的方法。比如PDE方法，3D降噪等。

PDE方法：將偏微分方程方法用在圖像去噪中，可以利用偏微分方程具有各向異性的特點(diǎn)，在去除噪聲的同時(shí)，很好的保持邊緣。該方法通過(guò)建立噪聲圖像為某非線性偏微分方程（PDE）的初始條件，然后求解這個(gè)PDE，得到在不同時(shí)刻的解，即為濾波結(jié)果。該方法的各向異性去噪模型可以根據(jù)圖像的梯度值決定擴(kuò)散的速度，使之能兼顧噪聲消除和邊緣保持兩方面的要求。

3D降噪：3D降噪利用了視頻幀前后幀圖像內(nèi)容相關(guān)的特性，通過(guò)對(duì)前后幀圖像的信息融合，找出噪點(diǎn)的像素進(jìn)行過(guò)濾，是視頻圖像過(guò)濾噪點(diǎn)特有的方法。同時(shí)，可以根據(jù)幀間運(yùn)動(dòng)信息對(duì)不同的視頻區(qū)域采用不同的降噪策略，在降噪的同時(shí)兼顧保留運(yùn)動(dòng)細(xì)節(jié)，有效地提升了視頻質(zhì)量。

還有很多圖像增強(qiáng)和去噪方法在噪聲點(diǎn)去除、邊緣細(xì)節(jié)處理和對(duì)比度提升上都有很好的表現(xiàn)，但由于其運(yùn)算復(fù)雜度高或者針對(duì)性比較強(qiáng)，并不適合在視頻監(jiān)控領(lǐng)域內(nèi)使用，而更多面向?qū)ｉT(mén)圖像處理系統(tǒng)，如醫(yī)療圖像、遙感等領(lǐng)域。但隨著硬件設(shè)備和圖像技術(shù)的不斷發(fā)展和進(jìn)步，必將有更多新的視頻增強(qiáng)技術(shù)應(yīng)用到視頻監(jiān)控中來(lái)。

圖像增強(qiáng)的技術(shù)應(yīng)用

接下來(lái)介紹這些技術(shù)在產(chǎn)品中的應(yīng)用。作為產(chǎn)品的基礎(chǔ)模塊或基礎(chǔ)技術(shù)的應(yīng)用，在智能分析的一些應(yīng)用中，圖像增強(qiáng)往往是作為基礎(chǔ)技術(shù)來(lái)使用，比如車(chē)牌識(shí)別、行為分析等技術(shù)在處理一些特別場(chǎng)景下圖片或視頻時(shí)，都會(huì)有圖像增強(qiáng)技術(shù)來(lái)改善圖像質(zhì)量，方便后續(xù)處理。再如在相機(jī)ISP處理中的應(yīng)用，相機(jī)寬動(dòng)態(tài)、逆光效果、低照度效果等，都是圖像增強(qiáng)技術(shù)的應(yīng)用體現(xiàn)。

在大霧、大雨、沙塵等特殊惡劣天氣時(shí)，會(huì)造成視頻圖像對(duì)比度和顏色被改變或退化，圖像中的很多細(xì)節(jié)特征都被覆蓋或模糊。這種情況采用針對(duì)性的視頻圖像增強(qiáng)方法可以有效地提高視頻圖像對(duì)比度和圖像細(xì)節(jié)，提升圖像質(zhì)量，如去霧算法就可以在改善霧天視頻質(zhì)量上達(dá)到很好的效果。

另外，在一些大場(chǎng)景下，一些運(yùn)動(dòng)目標(biāo)因其速度較快，其在視頻中的成像會(huì)有拖影、邊緣不清晰等情況，針對(duì)該情況利用視頻圖像增強(qiáng)技術(shù)進(jìn)行邊緣修復(fù)處理，會(huì)很好地提升圖像質(zhì)量。

圖像增強(qiáng)的技術(shù)發(fā)展趨勢(shì)

視頻圖像增強(qiáng)技術(shù)應(yīng)用更多的是通過(guò)與其他智能分析技術(shù)和高清設(shè)備相結(jié)合的方式，為其他技術(shù)的應(yīng)用。獨(dú)立的視頻圖像增強(qiáng)設(shè)備相對(duì)還比較少，應(yīng)用也比較單一，往往只面對(duì)特定的場(chǎng)景，如去霧應(yīng)用、去噪設(shè)備等。可以預(yù)見(jiàn)，隨著視頻監(jiān)控市場(chǎng)的不斷發(fā)展，產(chǎn)品形態(tài)不斷豐富，視頻圖像增強(qiáng)技術(shù)的應(yīng)用也將出現(xiàn)多樣的趨勢(shì)，呈現(xiàn)出越來(lái)越底層，越來(lái)越專業(yè)的特點(diǎn)。

隨著高清采集和顯示設(shè)備的快速發(fā)展，視頻圖像技術(shù)逐漸向設(shè)備底層發(fā)展，與硬件設(shè)備緊密結(jié)合，為提升設(shè)備畫(huà)質(zhì)水平保駕護(hù)航，類(lèi)似攝像機(jī)寬動(dòng)態(tài)、逆光、清晰度設(shè)置等特色的功能將越來(lái)越多。還有就是硬件化的趨勢(shì)，將圖像增強(qiáng)或降噪模塊集成到芯片里，給設(shè)備開(kāi)發(fā)利用相關(guān)技術(shù)帶來(lái)很大便利。

專用的視頻圖像增強(qiáng)設(shè)備將快速發(fā)展，它為特定的應(yīng)用場(chǎng)景量身打造，在使用效果上也將更加專業(yè)，如去霧、去拖影等專用設(shè)備。但隨著產(chǎn)品集成化越來(lái)越高，專用的視頻圖像增強(qiáng)設(shè)備是否能像人臉抓拍、行為分析設(shè)備一樣，得到客戶的認(rèn)可，還有待市場(chǎng)的檢驗(yàn)。

總之，視頻圖像增強(qiáng)技術(shù)將與現(xiàn)有的智能分析技術(shù)不斷的融合，并滲透到各種產(chǎn)品形態(tài)中，進(jìn)而演化出更多的智能化產(chǎn)品類(lèi)型。通過(guò)豐富的業(yè)務(wù)應(yīng)用、靈活的系統(tǒng)結(jié)構(gòu)，使智能視頻技術(shù)更深入的與行業(yè)用戶的業(yè)務(wù)需求相結(jié)合，讓安防視頻監(jiān)控看的更清更遠(yuǎn)。