視頻圖像增強(qiáng)技術(shù)讓視覺更完美

文/本刊記者 沈文文

為了提高圖像的清晰度，改善人眼的視覺效果，同時(shí)便于后續(xù)的其他技術(shù)處理，對(duì)這類“模糊”或?qū)Ρ榷鹊偷膱D像進(jìn)行增強(qiáng)處理成為了必要。而且，圖像增強(qiáng)通常也是各種圖像分析和處理的預(yù)處理過程。

近年來，隨著數(shù)字視頻技術(shù)、網(wǎng)絡(luò)技術(shù)和無線通信技術(shù)的迅速發(fā)展，各種視頻應(yīng)用層出不窮，并且具有繼續(xù)增長的發(fā)展趨勢(shì)。圖像，作為視頻應(yīng)用中的關(guān)鍵元素，其呈現(xiàn)效果直接影響著視頻溝通的效率和品質(zhì)。然而，在視頻會(huì)議、視頻監(jiān)控等視頻應(yīng)用過程中，圖像的呈現(xiàn)效果往往會(huì)受到設(shè)備、光照條件、視頻壓縮技術(shù)等眾多因素的制約，從而出現(xiàn)畫面對(duì)比度低、細(xì)節(jié)不清晰等問題，嚴(yán)重影響人眼對(duì)畫面的視覺感受和視頻內(nèi)容的展示效果。

不僅如此，長期觀看品質(zhì)低下的視頻可能會(huì)加重人們眼睛的負(fù)擔(dān)，容易產(chǎn)生視覺疲勞，甚至?xí)^暈?zāi)垦！?/p>

為了提高圖像的清晰度，改善人眼的視覺效果，同時(shí)便于后續(xù)的其他技術(shù)處理，對(duì)這類“模糊”或?qū)Ρ榷鹊偷膱D像進(jìn)行增強(qiáng)處理成為了必要。而且，圖像增強(qiáng)通常也是各種圖像分析和處理的預(yù)處理過程。

分辨率增強(qiáng)方法分類

據(jù)了解，提高圖像分辨率的較為直接的方法是改進(jìn)傳感器制作工藝，減少像素的大小，從而實(shí)現(xiàn)空間分辨率的增強(qiáng)(即增加每單位面積內(nèi)的像素個(gè)數(shù))，但由于減少了有效采光的能力而容易產(chǎn)生散粒效應(yīng)從而嚴(yán)重地降低圖像質(zhì)量。此外，傳感器的制造工藝已經(jīng)幾乎達(dá)到了極限，例如在0.35μm的CMOS水平下，一個(gè)像素的面積為40μm2，已經(jīng)難以進(jìn)一步減小。最后，以硬件升級(jí)方式提高圖像空間分辨率的做法其技術(shù)成本十分昂貴，極大地限制了該方法在實(shí)際情況中的應(yīng)用。

因此，基于信號(hào)處理的軟件技術(shù)來提高圖像空間分辨率的技術(shù)得到了廣泛地研究。這種技術(shù)被稱作是分辨率增強(qiáng)（Resolution enhancement, RE）或超分辨率圖像重建（Super resolution reconstruction, SRR）。圖像分辨率增強(qiáng)是目前信號(hào)處理領(lǐng)域中最為活躍的研究方向之一。它通過將輸入的低分辨率圖像中的高頻細(xì)節(jié)復(fù)原，產(chǎn)生一幅接近退化前的理想高分辨率圖像，從而達(dá)到提高圖像分辨率的目標(biāo)。這種方法的優(yōu)點(diǎn)是不涉及硬件，成本相對(duì)較低，并且可以在諸多應(yīng)用中重復(fù)再利用已有成像系統(tǒng)，因此是一種較為經(jīng)濟(jì)的過渡方案。

分辨率增強(qiáng)是一種將輸入的低分辨率圖像（或圖像序列）進(jìn)行處理，已獲得具有更高分辨率大小的圖像輸出的軟件技術(shù)。由于輸入的低分辨率圖像（圖像序列）中已經(jīng)丟失了所要恢復(fù)的高分辨率圖像中的大部分高頻信息，因此為了進(jìn)行分辨率增強(qiáng)處理，需要對(duì)丟失的高頻細(xì)節(jié)信息進(jìn)行合理的建模和預(yù)測。

預(yù)測高頻細(xì)節(jié)的信息來源主要包括三個(gè)方面，分別是高分辨率圖像特征的先驗(yàn)知識(shí)、具有互補(bǔ)信息的低分辨率圖像序列以及通過大量樣本學(xué)習(xí)得到的具有高-低分辨率圖像特征間對(duì)應(yīng)關(guān)系的數(shù)據(jù)庫。根據(jù)這三個(gè)方面的信息來源，可以將圖像分辨率增強(qiáng)方法大致分為三類，分別為基于插值的方法、基于多幀圖像融合的方法和基于學(xué)習(xí)的方法。

基于插值的分辨率增強(qiáng)

基于插值的分辨率增強(qiáng)方法通常在無法獲得更多關(guān)于高分辨率圖像高頻細(xì)節(jié)信息的情況下，利用已知的圖像先驗(yàn)知識(shí)（如圖像平滑性、邊緣方向連續(xù)性等）對(duì)高分辨率圖像中未知像素點(diǎn)進(jìn)行估計(jì)重建?；诓逯档姆椒ㄔ谶M(jìn)行分辨率增強(qiáng)的過程中，由于所能獲取的信息或者計(jì)算復(fù)雜度要求所限，僅能夠依靠一些高分辨率圖像通用先驗(yàn)?zāi)Ｐ蛠硪龑?dǎo)插值過程完成分辨率的轉(zhuǎn)換，因此在恢復(fù)圖像的高頻細(xì)節(jié)的性能表現(xiàn)方面，往往不能取得較為滿意的效果，尤其是當(dāng)圖像放大倍數(shù)較大（例如四倍放大）時(shí)容易產(chǎn)生過于模糊和平滑的現(xiàn)象。

基于多幀圖像融合的分辨率增強(qiáng)

基于多幀圖像融合的方法的技術(shù)思路是將輸入低分辨率圖像序列所包含的互補(bǔ)信息進(jìn)行融合，從而恢復(fù)得到高分辨率圖像中所應(yīng)包含的高頻細(xì)節(jié)信息?；诙鄮瑘D像融合的方法能夠成功的一個(gè)基本前提是可以獲得關(guān)于相同場景的不同角度或不同時(shí)刻的序列圖像。這些低分辨率圖像間具有亞像素尺度的偏移，從而為實(shí)現(xiàn)分辨率增強(qiáng)(高頻信息預(yù)測)提供了可能。

基于學(xué)習(xí)的分辨率增強(qiáng)

近年來，基于模式匹配和機(jī)器學(xué)習(xí)的圖像分辨率增強(qiáng)方法逐漸興起，得到較為廣泛地關(guān)注?；趯W(xué)習(xí)的方法的提出主要是針對(duì)輸入信息十分有限的情況下（甚至僅有一張低分辨率圖像作為輸入）來獲得較為理想的高分辨率圖像，取得分辨率增強(qiáng)的效果。在這種情況下，上述基于多幀圖像融合的方法的性能迅速下降，尤其是在圖像放大倍數(shù)較大的情況下。而基于學(xué)習(xí)的方法則充分利用了自然圖像中包含著大量的重復(fù)和冗余結(jié)構(gòu)這一重要的特性，利用學(xué)習(xí)的手段來捕獲不同分辨率間的特征對(duì)應(yīng)關(guān)系，從而能夠根據(jù)輸入的中低頻信息通過模式匹配搜索的方式來尋找到最佳的高頻信息預(yù)測。

總體來講，基于學(xué)習(xí)的方法的優(yōu)勢(shì)主要在于計(jì)算速度較快，但也有其自身的缺點(diǎn)，例如圖像放大倍數(shù)與圖像數(shù)據(jù)庫的訓(xùn)練過程相對(duì)應(yīng)，無法自適應(yīng)地改變。此外, 基于學(xué)習(xí)的方法十分依賴樣本庫的選擇, 目前還沒有相關(guān)理論來進(jìn)行指導(dǎo)。

視頻增強(qiáng)算法（Retinex算法）

Retinex（視網(wǎng)膜”Retina”和大腦皮層”Cortex”的縮寫）理論是一種建立在科學(xué)實(shí)驗(yàn)和科學(xué)分析基礎(chǔ)上的基于人類視覺系統(tǒng)（Human Visual System）的圖像增強(qiáng)理論。該算法的基本原理模型最早是由EdwinLand（埃德溫·蘭德）于1971年提出的一種被稱為的色彩的理論，并在顏色恒常性的基礎(chǔ)上提出的一種基于理論的圖像增強(qiáng)方法。Retinex理論的基本內(nèi)容是物體的顏色是由物體對(duì)長波（紅）、中波（綠）和短波（藍(lán)）光線的反射能力決定的，而不是由反射光強(qiáng)度的絕對(duì)值決定的；物體的色彩不受光照非均性的影響，具有一致性，即Retinex理論是以色感一致性（顏色恒常性）為基礎(chǔ)的。

不同于傳統(tǒng)的圖像增強(qiáng)算法，如線性、非線性變換、圖像銳化等只能增強(qiáng)圖像的某一類特征，如壓縮圖像的動(dòng)態(tài)范圍，或增強(qiáng)圖像的邊緣等，Retinex可以在動(dòng)態(tài)范圍壓縮、邊緣增強(qiáng)和顏色恒常三方面達(dá)到平衡，因此可以對(duì)各種不同類型的圖像進(jìn)行自適應(yīng)性地增強(qiáng)。據(jù)Retinex理論，物體的顏色是由物體對(duì)光線的反射能力決定的，而物體對(duì)光線的反射能力是物體本身固有的屬性，與光源強(qiáng)度的絕對(duì)值沒有依賴關(guān)系。因此通過計(jì)算各個(gè)像素間的相對(duì)明暗關(guān)系，可以對(duì)圖像中的每個(gè)像素點(diǎn)做校正，從而確定該像素點(diǎn)的顏色。正因?yàn)镽etinex諸多良好的特性，使Retinex算法在很多方面得到了廣泛的應(yīng)用。

未來

圖像分辨率增強(qiáng)技術(shù)提供了一種從低分辨率圖像源到高分辨率輸出的轉(zhuǎn)換方案。目前，圖像分辨率增強(qiáng)技術(shù)的應(yīng)用十分廣泛，在視頻監(jiān)控領(lǐng)域中發(fā)揮著十分重要的作用。而在新一代的視頻編碼標(biāo)準(zhǔn)研究中，分辨率增強(qiáng)技術(shù)已經(jīng)開始成為編碼器中重要的一個(gè)部分。同時(shí)，圖像分辨率增強(qiáng)技術(shù)仍存在著許多需要解決的問題，對(duì)圖像分辨率增強(qiáng)技術(shù)的進(jìn)一步研究必將導(dǎo)致這一理論和技術(shù)擴(kuò)寬到更多的新的應(yīng)用領(lǐng)域，為圖像分辨率增強(qiáng)技術(shù)研究帶來新的活力與挑戰(zhàn)。