基于多興趣區(qū)域融合的視頻增強算法研究

梁龍飛，陳遠哲，戴莉勤，林巍峣，田 廣

(1.博康智能網絡科技股份有限公司，上海 200233;2.上海交通大學電子工程系，上海 200240;3.上海市電力公司市區(qū)供電公司，上海 200080)

責任編輯:時 雯

1 視頻增強算法簡述

隨著互聯(lián)網和多媒體通信設備的快速發(fā)展，視頻服務的應用越來越廣泛。但在實際應用中，由于受光照條件、曝光程度以及傳輸帶寬、存儲容量等方面的限制，其質量難以保證。因此，通過視頻增強算法來保證高質量的視頻服務，是目前最實際有效的方法。

視頻增強的算法可以大致分為兩類:第一類是將整個視頻幀看成一個整體來進行增強［1－8］。該方法通常通過提取整個視頻幀的某幾個特征來描述一幀圖像，例如全局直方圖等。然而，由于沒有考慮視頻幀內部不同區(qū)域之間的差異，該方法不能保證對視頻中的每個關鍵區(qū)域都進行適當?shù)脑鰪姟５诙愃惴〞槍σ曨l幀中的關鍵區(qū)域提取特征，然后有針對性的進行增強［9－10］。但大多數(shù)這類算法僅考慮了某一特定區(qū)域，因此其他區(qū)域的增強效果得不到保證，不具有普適性。

文獻［10］提出了一種基于學習的視頻增強算法。文獻［11］將該算法推廣到針對視頻幀中的兩個興趣區(qū)域。然而，由于實際應用中往往需要同時增強視頻幀中的多個視頻內容，該算法依然有較大的局限性。基于上述討論，本文提出了一種新的視頻增強算法。

2 基于多興趣區(qū)域融合的視頻增強算法

本文提出的視頻增強算法的系統(tǒng)框圖如圖1所示。該算法首先提取當前幀中的感興趣區(qū)域。然后對各個提取出的興趣區(qū)域分別用混合高斯建模其顏色分布，并對每個區(qū)域構造映射函數(shù)。接著，利用本文提出的漸進融合策略對多個區(qū)域的構造映射函數(shù)進行融合，得到全局的映射函數(shù)，并將該全局映射函數(shù)應用于當前幀。最后，利用相鄰幀的時間相關性對當前幀進行進一步融合即可得到最終的增強結果。本文將對框圖中的各個步驟進行詳細闡述。其中，興趣區(qū)域的混合高斯建模、漸進融合策略和基于時域相關性的融合是本算法的關鍵部分，將著重予以介紹。

2.1 興趣區(qū)域的提取及混合高斯建模

本文以視頻會議和視頻監(jiān)控等為主要應用場景，利用基于Harr特征和Adaboost分類器的檢測器［12］檢測人臉、白板、人手、車輛等目標作為興趣區(qū)域。

圖1 基于多興趣區(qū)域融合的視頻增強算法系統(tǒng)框圖

然后對一個興趣區(qū)域的RGB三個顏色通道分別用一個混合高斯模型進行擬合。每一個混合高斯模型都可以看成是多個高斯模型的加權和。這樣做的好處在于，即使興趣區(qū)域的顏色分布較為復雜(比如含有多個主顏色成分)，仍能有效地建模并進行適當?shù)脑鰪?。實驗中取混合高斯模型的高斯分布?shù)量為2，并采用最大期望算法(EM algorithm)［13］進行求解。

2.2 興趣區(qū)域映射函數(shù)的構建

在求得混合高斯模型后，需要對每個興趣區(qū)域構建映射函數(shù)。本文采用文獻［10］中的基于學習的算法來計算映射函數(shù)。該算法在文獻［10］中有詳盡的描述，這里只對其思想進行簡述:該算法利用高質量的訓練圖像進行學習，從而得到高質量視頻特征所對應的典型分布。在處理待增強視頻時，也同樣求得其對應特征的分布函數(shù)，然后用函數(shù)映射將該分布函數(shù)變換成和典型分布像類似的分布函數(shù)，從而達到增強的效果。原理上分析，高質量的圖像通常給興趣區(qū)域分配了較多的色彩資源，因此函數(shù)映射的目的就是使待增強視頻中的興趣區(qū)域也能得到類似的色彩資源，從而達到更好的視覺效果。

本文提出的策略將先對單個高斯分布采用文獻［10］的方法求取映射函數(shù)，然后再利用融合策略將多個映射函數(shù)融合成一個全局映射函數(shù)。具體的融合策略將在下文介紹。

2.3 漸進融合策略

利用前兩節(jié)闡述的方法可得到每個興趣區(qū)域中每個高斯分布對應的映射函數(shù)，以 Fi，j，k(x)表示，其中i是第 i個興趣區(qū)域，j是顏色通道的序號，k是高斯分布的序號。融合策略的目標是對每一個顏色通道得到一個全局的映射函數(shù)，該函數(shù)盡可能地在該顏色通道對應的高斯分布均值的周圍貼近對應的映射函數(shù)。全局映射函數(shù)用一個光滑單調的函數(shù)對原有的分布進行映射，從而不會改變圖像色彩的連貫性。如果采用不同映射函數(shù)對不同興趣區(qū)域進行映射的話，很容易在邊緣產生不自然的邊緣痕跡，從而嚴重影響視頻質量。

文獻［11］提出了一種對兩個映射函數(shù)融合的方法，簡述如下:若兩個興趣區(qū)域的重疊面積較大，采用基于分段的融合方法;若重疊面積較小，采用基于參數(shù)的融合方法?；诜侄蔚娜诤戏椒捎墒?1)、式(2)來表示

式中:F1，F(xiàn)2為兩個單高斯分布對應的映射函數(shù);m1，m2，σ1，σ2分別為兩個高斯分布的均值和標準差;t1，t2，α 均為參數(shù)，在實驗中分別取值為0.9，0.5，1。利用與式(2)對稱的限制條件可以類似地求出FPB，2(x)。

此外，基于參數(shù)的融合方法可由式(3)表示

圖2給出了一個基于分段融合的實例，其中包含兩個興趣區(qū)域。從圖2中可以看出，融合后的映射函數(shù)由兩部分組成，其中第一部分與第一個興趣區(qū)域在其主要顏色范圍內(m1－ασ1，m1+ασ1)的映射函數(shù)(虛線段)很接近，而第二部分與第二個興趣區(qū)域在其主要顏色范圍內(m2－ασ2，m2+ασ2)的映射函數(shù)(點劃線)很接近。因此，兩個興趣區(qū)域都可以通過融合后的映射函數(shù)得到適當?shù)脑鰪姟?/p>

圖2 基于分段融合的實例

然而，該方法不能處理多個興趣區(qū)域的同時增強。因此，本文提出一種漸進融合策略，可以對多個興趣區(qū)域的多個映射函數(shù)進行融合，過程如下。

1)對第 i個興趣區(qū)域，以 Li，j=mi，j－ ασi，j，Ri，j=mi，j+ασi，j標識其j個顏色通道中的主要顏色成分區(qū)域的左右邊界。其中，mi，j是該興趣區(qū)域的 j通道顏色均值，σi，j是該興趣區(qū)域的 j通道顏色方差。也就是說，［Li，j，Ri，j］表示興趣區(qū)域i在j個顏色通道中的范圍。

2)根據(jù)式(5)，選取兩個顏色重合區(qū)域最大的興趣區(qū)域 (LA，RA)，(LB，RB)

3)利用式(1)～(4)對興趣區(qū)域 (LA，RA)，(LB，RB)對應的映射函數(shù)進行融合。

4)將步驟3)中得到的結果看作是一個新的大興趣區(qū)域，并用 (LAB，RAB)=(min(LA，LB)，max(RA，RB))表示該大興趣區(qū)域的顏色范圍。

5)重復步驟2)～5)，直到所有的興趣區(qū)域合并成一個大興趣區(qū)域，并得到最終的全局融合映射函數(shù)。

漸進融合的策略就是每次選取最接近的兩個興趣區(qū)域進行融合，并將得到的結果認為是一個更“大”的興趣區(qū)域。不斷重復這個過程，直到僅剩下一個大興趣區(qū)域，這個大興趣區(qū)域對應的映射函數(shù)就是全局映射函數(shù)。通過這種選取策略，每次選取的興趣區(qū)域的主要顏色區(qū)域(即［Li，j，Ri，j］)之間通常不會含有其他興趣區(qū)域的主要顏色區(qū)域，因此就不會影響到已融合高斯分布主要區(qū)域的增強效果。另外，要注意的是，如果一個興趣區(qū)域包含了多個高斯分布(即2.2節(jié)中的混合高斯分布)，可以先將這些高斯分布拆開成多個“微小”興趣區(qū)域，然后再利用上述步驟將這些微小興趣區(qū)域與其他區(qū)域進行融合，這樣就可以防止在融合中對已融合的部分造成影響，從而保證增強的效果。

2.4 全局增強

利用全局映射函數(shù)對當前幀的像素進行顏色映射處理［10－11］，從而使得到的結果能同時有效增強多個感興趣區(qū)域。

2.5 基于時域相關性的融合

由于上述增強結果是基于當前幀的，并沒有考慮相鄰幀之間的相關性，因此可能導致相鄰幀之間的閃爍問題。因此，本文進一步引入基于時域相關性的融合方法，利用相鄰信息對當前幀進行處理，以保證相鄰幀之間增強效果的連續(xù)性?；跁r域相關性的融合方法描述如式(6)所示

3 實驗與分析

分別對混合高斯建模、漸進融合策略、基于時域相關性的融合效果進行實驗分析。

3.1 針對混合高斯建模的實驗結果

混合高斯模型實驗結果如圖3所示。

圖3 混合高斯模型實驗結果

比較圖3c和圖3d可以看出，由于花這個興趣區(qū)域包含了黃色和紅色這兩個不同的主要顏色(編者注:圖3原為彩圖)，如果僅用單高斯模型建模興趣區(qū)域顏色(圖3c，即文獻［10］的方法)，增強后的花效果仍顯單調。相比之下，如果用混合高斯建模興趣區(qū)域顏色(即圖3d)，則增強后的花顏色更為鮮艷，黃紅兩部分顏色更為鮮明。同時，比較圖3b～圖3f，可以進一步看出融合方法的有效性，如果只考慮了單個興趣區(qū)域(如圖3b、圖3c、圖3d)，都難以使另一個興趣區(qū)域的色調顯得自然，當利用融合方法以后(如圖3e、圖3f)，兩個興趣區(qū)域能同時得到有效的增強。此外，對比圖3e和圖3f，可以進一步看出利用本文的混合高斯模型能使花朵在最終的融合增強結果中得到更為鮮艷的效果。

此外，圖4給出了與圖3結果中花朵興趣區(qū)域相對應的映射函數(shù)的對比圖，針對G通道?？梢钥闯龌ǘ渑d趣區(qū)域含有兩個主要顏色區(qū)域，即m1為中心區(qū)域和m2為中心的區(qū)域(即花朵的紅色和黃色區(qū)域)，F(xiàn)1(x)和F2(x)為針對這兩個主要顏色區(qū)域的理想映射曲線。采用混合高斯模型的曲線Ff，1(x)在均值m1和m2附近均比較靠近對應顏色區(qū)域的映射函數(shù)的曲線(F1(x)，F(xiàn)2(x))，而采用單高斯模型的曲線Ff，2(x)與之有明顯的差別，因而很難得到理想的增強效果。另外，圖4下方的曲線對應了該顏色通道的顏色分布直方圖，可以大致看出它有兩個峰值，用混合高斯模型可以更精細地模擬，這也間接說明了混合高斯模型的有效性。

圖4 映射函數(shù)對比圖(G綠色通道)

3.2 針對漸進融合策略的實驗結果

圖5給出了漸進融合策略的實驗結果?？梢钥闯鰣D5b～圖5d盡管對某一興趣區(qū)域進行了適當?shù)脑鰪?，但對其他興趣區(qū)域的增強效果并不好。圖5e盡管對兩個人臉部分都有明顯的增強，但窗戶區(qū)域的細節(jié)仍然看不到。圖5f可以明顯看出對多個興趣區(qū)域進行融合的結果，和其他方法相比有更好的視覺效果。

圖5 漸進融合策略實驗結果

圖6為圖5結果中人臉興趣區(qū)域相對應的映射函數(shù)的對比圖，其中，fA，j(x)，fB，j(x)，fB，j(x)分別對應圖 5b，圖5c，圖5d的映射函數(shù)，點劃虛線曲線和虛線曲線分別對應圖5e和圖5f的全局映射曲線?？梢钥闯隼帽疚牡臐u進融合策略(即圖6中的虛線段)，可以有效地使最終映射曲線在每個興趣區(qū)域的顏色區(qū)間內接近各自的理想映射曲線，而在同時保持最終映射曲線的單調遞增和平滑性，得到比圖5b～圖5e(即文獻［10－11］)更好的效果。

圖6 圖5結果中的映射函數(shù)對比圖(R通道)

3.3 針對基于時域相關性的融合的實驗結果

圖7顯示了一組基于時域相關性的融合結果，其中最左邊一列為原始視頻幀，中間一列為利用改進的直方圖均衡方法得到的結果［2］，右邊一列為用本文方法的結果。從圖中可以看出，由于場景中出現(xiàn)閃電現(xiàn)象，原始視頻幀出現(xiàn)忽明忽暗現(xiàn)象，利用文獻［2］的方法，該現(xiàn)象得到緩解，然后仍然有一定的閃爍，利用本文方法，時間連續(xù)性得到很好的保存。

圖7 基于時域相關性的融合的結果

3.4 主觀客觀數(shù)據(jù)結果比較

為進一步驗證本文方法的有效性，表1比較了各個增強方法結果在一個視頻數(shù)據(jù)庫上［11］的客觀指標。其中，H，HIBTE，TAMBE(μ)，和TAMBE(σ )分別表示視頻的離散熵［2］、直方圖時域抖動［2，6］、時域平均亮度絕對值差［2］、以及相鄰幀標準差抖動［2］。其中，離散熵H值越大表示視頻幀圖像質量越好，而HIBTE，TAMBE(μ)和 TAMBE(σ)值越小表示視頻幀相鄰幀質量平滑性越好。

表1 不同方法的客觀質量比較

此外，表2比較了一個主觀實驗的比較結果。在該實驗中，30個觀察者觀看用不同方法增強的視頻結果并打出1～5的分數(shù)［10］，其中“1”表示視頻質量很差，而“5”表示質量很好。表2顯示了不同觀察者對同一個方法的所有視頻打分值的平均結果。

從表1和表2可以進一步看出，本文提出的方法在客觀和主觀質量上都比以前基于興趣區(qū)域的方法有了較為明顯的改進和提高。

表2 不同方法的主觀質量比較

4 小結

本文針對現(xiàn)有視頻增強算法的不足，提出了一種基于多興趣區(qū)域融合的增強算法。該算法利用混合高斯模型進行建模，并提出了一種漸進融合策略對多個興趣區(qū)域的增強映射函數(shù)進行融合以及利用時域相關性進行時域融合保證視頻質量時域平滑性。實驗結果表明該算法具有較高的魯棒性，適用于多種不同的視頻服務。

在未來工作中，將進一步研究新的興趣區(qū)域提取方法，以進一步改進興趣區(qū)域的提取效果。同時，研究本文方法在存在圖像模糊、噪聲等其他干擾情況下如何有效實現(xiàn)增強。

［1］STARK J A.Adaptive image contrast enhancement using generalizations of histogram equalization［J］.IEEE Trans.Image Processing，2000，9(5):889－896.

［2］ARICI T，DIKBAS S，ALTUNBASAK Y.A histogram modification framework and its application for image contrast enhancement［J］.IEEE Trans.Image Processing，2009，18(9):1921－1935.

［3］SCHETTINI R，RANCESCA G.Contrast image correction method［J］.Journal of Electronic Imaging，2010，19(2):1－8.

［4］汪志云，黃夢為，胡釙，等.基于直方圖的圖像增強及其MATLAB實現(xiàn)［J］.計算機工程與科學，2006，28(2):54－56.

［5］周旋，周樹道，黃峰，等.基于小波變換的圖像增強新算法［J］.計算機應用，2005，25(3):606－608.

［6］李耀輝，劉保軍.摹于直方圖均衡的圖像增強［J］.華北科技學院學報，2003，5(2):65－66.

［7］任炎輝，李僅偉，畢衛(wèi)紅.一種優(yōu)化參數(shù)的圖像增強算法［J］.電視技術，2012，36(3):7－10.

［8］李建彬，韓軍，邱君華.基于Retinex的舊視頻序列增強算法［J］.電視技術，2011，35(5):21－24.

［9］SHI C，YU K，LI J，and et al.Automatic image quality improvement for videoconferencing［C］//Proc.ICASSP 2004.［S.l.］:IEEE Press，2004:701－704.

［10］LIU Z，ZHANG C，ZHANG Z.Learning－based perceptual image quality improvement for video conferencing［C］//Proc.ICME 2007.［S.l.］:IEEE Press，2007:1035－1038.

［11］XU N，LIN W，ZHOU Y.A new global－based video enhancement algorithm by fusing features of multiple region－of－interests［C］//Proc.VCIP 2011.［S.l.］:IEEE Press，2011:1－4.

［12］VIOLA P，JONES M.Robust real－time object detection［EB/OL］.［2012－08－02］.http://www.hpl.hp.com/techreports/Compaq－DEC/CRL－2001－1.pdf.

［13］HOGG R，MCKEAN J，CRAIG A.Introduction to mathematical statistics［M］.6th ed.［S.l.］:Pearson Prentice Hall，2005:359－364.