視頻圖像綜合處理系統(tǒng)的設計與實現(xiàn)

姜樹明，蔡秀霞，張元元，萬會松，劉向陽，劉曉輝

(山東省科學院情報研究所，山東 濟南 250014)

近年來，視頻監(jiān)控系統(tǒng)在公共安全防范和交通監(jiān)控等方面發(fā)揮著更大的作用，各種視頻圖像的采集與記錄也在越來越多的領(lǐng)域加以應用。但是，由于氣候、光線變化以及其它原因，使獲取的視頻圖像無法清晰地顯示所監(jiān)視的目標，嚴重時甚至看不到任何有用信息。因此，急需設計一種能對模糊圖像進行清晰化處理的系統(tǒng)，提高視頻監(jiān)控系統(tǒng)的魯棒性。實時視頻圖像處理系統(tǒng)要求具有處理大數(shù)據(jù)量的能力，以保證系統(tǒng)的實時性;同時對系統(tǒng)的體積、功耗、穩(wěn)定性等也有較嚴格的要求。近年來，國內(nèi)外視頻數(shù)字圖像處理系統(tǒng)在目標實時檢測方面出現(xiàn)了高度并行的視頻圖像處理方法［1-3］。如美國INMOS 公司1985年首次推出32 位具有獨特網(wǎng)絡性能的transputer 芯片，揭開了研究高速并行數(shù)字圖像處理系統(tǒng)的序幕［4］。此后，陸續(xù)出現(xiàn)了更高性能的微處理器，所用的數(shù)字信號處理器從TMS32010、TMS320C25、TMS320F206、TMS320C80 到目前的TMS320C6000 系列［5］，不斷地進行升級換代。為了改善惡劣環(huán)境下視頻監(jiān)控系統(tǒng)所采集圖像的質(zhì)量和清晰度，本文對具備視頻圖像綜合處理功能的系統(tǒng)硬件和軟件進行了探討，開發(fā)了一種實用的視頻圖像綜合處理系統(tǒng)，能實現(xiàn)視頻圖像去霧、去噪和清晰化處理，可廣泛應用于智能監(jiān)控、交通、治安管理以及公安刑偵等領(lǐng)域。

1 方案設計

1.1 總體設計

系統(tǒng)分為硬件處理設備和軟件處理系統(tǒng)兩部分。對于實時采集的模擬信號先經(jīng)過硬件設備進行處理，再進行模數(shù)轉(zhuǎn)換，然后經(jīng)過軟件處理數(shù)字信號，最后完成兩部分的系統(tǒng)集成工作。其中，硬件處理設備的工作包括視頻圖像信息采集、模數(shù)轉(zhuǎn)換、監(jiān)視器顯示以及硬件設備預處理，最終完成初步采集信息清晰化預處理和調(diào)試，并為后續(xù)軟件處理提供較好的初始信號。軟件系統(tǒng)的研發(fā)工作，主要集中于完成各軟件模塊的研發(fā)，以及軟件模塊的集成工作，具體包括去霧處理、模糊車牌處理、數(shù)字清晰化處理等算法的實現(xiàn)，最終完成硬件設備與軟件系統(tǒng)的整合和調(diào)試。

圖1 處理模擬視頻圖像的系統(tǒng)框圖Fig.1 The system block diagram processing an analog video image

目前市面上流通的監(jiān)控攝像機既有模擬攝像機也有數(shù)字攝像機。由于本系統(tǒng)采用的是數(shù)字視頻圖像處理技術(shù)，因此對于采用模擬攝像機的監(jiān)控系統(tǒng)，需首先將模擬視頻進行數(shù)字化處理［6］，即將需要處理的實時視頻圖像或已錄回放的視頻圖像，先經(jīng)過該系統(tǒng)的硬件設備后，再送入計算機進行軟件處理。這種情況下，系統(tǒng)首先通過硬件設備處理將模擬信號轉(zhuǎn)化為數(shù)字信號，即先通過DSP 軟硬件模塊對模擬視頻圖像進行信號增強和噪聲過濾，再通過專用電路對模擬信號進行整流、直流分量平衡等處理;然后進入軟件處理模塊，通過量化和編碼手段完成視頻信號的模/數(shù)轉(zhuǎn)換，經(jīng)去噪、濾波等處理后，提取相應的數(shù)字特征，進入視頻圖像處理、文字處理、車牌識別等功能模塊，達到對視頻圖像質(zhì)量進行改善和處理的效果，最后將處理好的視頻圖像進行展示。處理模擬視頻圖像的邏輯框圖如圖1 所示。

對于采用數(shù)字攝像機進行拍攝的監(jiān)控系統(tǒng)，由于采集的已經(jīng)是數(shù)字視頻，因此無需進行數(shù)字化及編碼處理，其情形相對簡單，可直接進入軟件處理模塊。軟件處理過程與模擬視頻圖像的處理方式相同。

本軟件采用傳統(tǒng)的軟件開發(fā)生命周期，采用自頂向下、逐步求精的結(jié)構(gòu)化的軟件設計方法［7-8］。根據(jù)軟件功能需求，將視頻圖像綜合處理系統(tǒng)細分為以下3 個子系統(tǒng):視頻圖像處理子系統(tǒng)、文字處理子系統(tǒng)和車牌處理與識別子系統(tǒng)。軟件總體框架如圖2 所示。

1.2 開發(fā)環(huán)境及工具

以Windows 為操作平臺，開發(fā)工具采用Visual Studio 2005 中文版。選取Visual Studio 2005 作為開發(fā)工具的原因:

(1)語言和IDE:各有特色和創(chuàng)新的4 種語言(Visual Basic，Visual C++，Visual C#和Visual J#)將豐富編程體驗。對IDE 進行改進并提供個性化服務是提高生產(chǎn)力的保證。

(2).NET Framework 2.0:提供一個可靠的應用平臺，為構(gòu)建安全、高性能、關(guān)鍵業(yè)務的解決方案提供了堅實基礎(chǔ)。

圖2 視頻圖像綜合處理軟件結(jié)構(gòu)Fig.2 Software architecture of a video image processing system

1.3 接口設計

(1)用戶接口:本系統(tǒng)采用圖形用戶交互接口，以鼠標和鍵盤為用戶輸入接口，方便用戶對需要處理的圖片進行操作。

(2)外部接口:打印功能接口，采用系統(tǒng)自帶界面，理論上在所有Windows XP 系統(tǒng)中相同，且通用。

(2)內(nèi)部接口:對于圖片基本參數(shù)(對比度、亮度、色彩飽和度)的調(diào)整，可與去霧處理或清晰化處理的效果疊加，而去霧處理與清晰化處理兩者相對獨立。

1.4 系統(tǒng)特色

(1)具有視頻圖像的去霧、去噪等模糊視頻圖像清晰化處理的功能，而且能夠通過對有用信息進行增強和特征提取來實現(xiàn)視頻圖像、文字和車牌識別的處理。

(2)有用視頻圖像信息(指處理前的視頻圖像內(nèi)容中，有需要處理的視頻圖像信息，且其像素數(shù)應大于全屏畫面像素數(shù)的1/20)處理后的識別率達到85%以上。

(3)既能處理實時視頻圖像，又能處理單幀靜止視頻圖像或照片;既能處理模擬視頻圖像，又能處理數(shù)字視頻圖像。

(4)既有標準的模擬輸入/輸出接口，又有標準的數(shù)字輸入/輸出接口。

圖3 視頻圖像處理子系統(tǒng)功能細分Fig.3 Functionality subdivision of the video image processing sub-system

2 系統(tǒng)功能實現(xiàn)

2.1 模塊設計實現(xiàn)

視頻圖像綜合處理系統(tǒng)共包含了3 個子系統(tǒng)，各子系統(tǒng)既相互區(qū)別又相互聯(lián)系。3 個子系統(tǒng)中，圖像處理子系統(tǒng)是各個子系統(tǒng)實現(xiàn)其功能的基礎(chǔ)和前提，其它子系統(tǒng)可看作是圖像處理子系統(tǒng)的具體應用。因此，圖像處理子系統(tǒng)是整個系統(tǒng)的核心，該系統(tǒng)實現(xiàn)的功能主要包含視頻圖像基本參數(shù)調(diào)整、視頻圖像去霧處理和視頻圖像清晰化處理，見圖3。

(1)視頻圖像基本參數(shù)調(diào)整:實現(xiàn)對輸入視頻圖像的一般性處理，如亮度調(diào)整、對比度調(diào)整、色彩飽和度調(diào)整等，主要為后續(xù)其他視頻圖像處理算法提供預處理。

(2)視頻圖像去霧處理:對霧天中拍攝的視頻圖像進行處理，整體增強視頻圖像的清晰度，降低大霧對景物識別分辨的影響。

(3)視頻圖像清晰化處理:對惡劣環(huán)境中拍攝的非清晰視頻圖像進行增強處理，讓原本模糊的視頻圖像變得清晰。

2.2 視頻圖像基本參數(shù)調(diào)整模塊

本模塊的功能是調(diào)整視頻圖像的各種基本參數(shù)，主要包括對比度調(diào)整、亮度調(diào)整、色彩飽和度調(diào)整等基本操作。

(1)亮度/對比度調(diào)整

人眼對視頻圖像敏感的兩個重要性能參數(shù)是視頻圖像的亮度和對比度［9］。因此，在對照片、視頻等進行處理時，常常需要進行亮度和對比度的處理。亮度和對比度也是一種重要的顏色調(diào)整方法。本系統(tǒng)對視頻圖像的處理基于RGB 顏色模型，因此需要對RGB 各顏色分量進行特定的處理。

(2)色彩飽和度調(diào)整

本系統(tǒng)對于視頻圖像的飽和度的調(diào)整是通過調(diào)整RGB 分量，主要是G、B 分量的比值來實現(xiàn)。

2.3 視頻圖像去霧處理模塊

視頻圖像去霧模塊與視頻圖像基本參數(shù)調(diào)整模塊對視頻圖像所做的處理效果是可以疊加的。其基本原理是把霧天拍攝的照片或視頻，進行視頻圖像增強處理，使得霧中朦朧看不清的場景能看清。

其算法是:利用霧天大氣散射物理模型推導傳遞函數(shù)，對霧天拍攝的視頻圖像進行反向處理，得到基本無霧的視頻圖像。霧天成像的物理模型為:

式中，I(x)表示觀察到的視頻圖像，J(x)表示假設沒有大氣顆粒散射時候的真實視頻圖像，t(x)為大氣散射傳遞函數(shù)，A 為大氣光。公式(1)中等式右側(cè)第一項J(x)t(x)代表直接衰減項，即大氣散射的衰減模型，第二項A(1 -t(x))被稱為散射大氣光，即大氣散射的大氣光模型。

大氣散射傳遞系數(shù)表示透射率，反映了光線穿透霧的能力，值越大，表示場景點光線穿透霧到達觀測點的量越多［10］。大氣散射傳遞函數(shù)t(x)可表示成:

式中，β 為大氣顆粒散射系數(shù)，研究中由于霧在地表附近可以看作均勻的同質(zhì)物質(zhì)，因此可以假設β 是一個常量。d(x)為場景深度，是物體到成像設備的距離，物體表面反射的光線在到達成像設備時呈指數(shù)減少。A表示無窮遠處的大氣光，在同一天氣條件下可以看作一個恒定值。

根據(jù)已知的霧天視頻圖像模型(公式(1))，本研究中認為β 是一個常量，則大氣傳遞系數(shù)t(x)只受視頻圖像深度d(x)的影響。如果在同一霧天條件，且拍攝的視頻圖像深度基本一致的情況下，那么大氣光A 和t(x)就可以看作是不變的常量。因此我們可以利用多幅視頻圖像的多個約束方程，用解方程組的方法得出未知的參數(shù)。復原有霧視頻圖像關(guān)鍵是解出方程中的大氣傳遞系數(shù)t(x)和大氣光A，利用最小二乘法解超定方程組求出A 和t 的值。這樣不但充分利用了每個像素點的值，在很大程度上減小了誤差，而且去除了噪聲。在求解出參數(shù)t(x)和A 之后，有霧視頻圖像I(x)通過觀測點的成像設備得到，這樣就可得到復原后的清晰視頻圖像J(x)。把參考場景算出的參數(shù)A 和t(x)代入公式(1)便可得到復原后的清晰視頻圖像J(x)為:

根據(jù)視頻監(jiān)控圖像場景固定的特點，可以選擇可靠的參考物體，方便獲得與霧天相對應的清晰視頻圖像。本文的算法可以應用于大量視頻監(jiān)控場景視頻圖像的預處理中，如視頻監(jiān)控、車牌識別和人臉識別等領(lǐng)域。該算法的實現(xiàn)流程如圖4 所示。

圖4 去霧算法流程圖Fig.4 Flowchart of the defogging algorithm

2.4 視頻圖像清晰化處理模塊

視頻圖像清晰化與視頻圖像基本參數(shù)調(diào)整兩個模塊對視頻圖像所做的處理效果是可以疊加的，與視頻圖像去霧模塊無關(guān)聯(lián)。

圖5 視頻圖像清晰化處理流程Fig.5 Flowchart of a video image clarity processing system

視頻圖像清晰化處理的意義是指在視頻圖像采集/復制/傳遞過程中，由于環(huán)境、設備等多種原因，會導致視頻圖像的清晰度下降，為了保證視頻圖像的清晰顯現(xiàn)，有必要對其清晰度進行增強。視頻圖像清晰度(Sharpness)的概念是指視頻圖像細節(jié)邊界變化的敏銳程度，也稱為“銳度”，清晰化處理也被稱為“銳化”。清晰度與分辨率的關(guān)系為視頻圖像的分辨率越高，通常會采集到更豐富的細節(jié)，使視頻圖像顯得更細膩。因此，在分辨率高的情況下，往往視頻圖像清晰度也較高。所以對于需要處理的圖片，分辨率越高，清晰化處理的效果也越好。

本系統(tǒng)采用視頻圖像清晰度增強處理技術(shù)——虛光蒙版(UnsharpMask，USM)。其算法過程是:

(1)對每個像素(當前像素)，求其同一幀內(nèi)周圍多個鄰近像素灰度值的平均值;

(2)用當前像素的灰度值減去同一幀內(nèi)空間上鄰近像素平均值，得到USM 值;

(3)取一部分或全部USM 值與當前像素的灰度值疊加。

處理后，視頻圖像細節(jié)邊緣的灰度反差加大，且會出現(xiàn)一定寬度的亮暗輪廓(“邊飾”)。取鄰近像素范圍寬，則“邊飾”也較寬。

視頻圖像清晰化算法流程見圖5。

3 系統(tǒng)功能演示

運行本系統(tǒng)后的界面如圖6 所示。操作順序如下:

(1)工具欄中，不同方向的笑臉的圖標，代表將圖進行翻轉(zhuǎn)或旋轉(zhuǎn)的方式;

(2)進行圖像基本參數(shù)調(diào)整時，設置參數(shù)大小的區(qū)域;

(3)選擇圖像處理方式，以及設置參數(shù)的區(qū)域;

(4)狀態(tài)欄的左邊會顯示當前正在進行的操作，在沒有任何操作的時候，會隨機顯示使用技巧提示，右邊則顯示圖片的分辨率和縮放比例。

圖7、圖8 為圖像處理前后對比圖。

圖6 系統(tǒng)操作界面Fig.6 Operation interface of the system

4 結(jié)語

本文設計了具有模糊圖像的實時去霧、去噪、清晰化等功能的視頻圖像綜合處理系統(tǒng)，系統(tǒng)設計采用了軟硬件結(jié)合的架構(gòu)，具有標準的輸入輸出接口。目前該系統(tǒng)已經(jīng)能夠較好地對整幅視頻圖像進行全局處理，但是隨著實際應用需求的增加，對某些局部特定目標，比如車牌、人物等等，需要更細致的分析和處理?；诖?，在以后系統(tǒng)的升級過程中，我們將考慮增加系統(tǒng)局部特征處理的功能，使該系統(tǒng)具備更高的智能性以更好地應用于安防監(jiān)控系統(tǒng)中。

［1］楊明林，張曉飛.FPGA 控制實現(xiàn)圖像系統(tǒng)視頻圖像采集［J］.計算機測量與控制，2003，11(6):451 -454.

［2］GILBERT A L，GILES M K，F(xiàn)LACHS G M，et al.A real-time video tracking system［J］.IEEE Transaction on Pattern Analysis and Machine Intelligence，1980，2(1):47 -55.

［3］DENG K，WILSON J N.An approximation-based video tracking system［C］.Image Algebra and Morphological Image Processing San Diego，CA，1991，1568:304 -312.

［4］薛大雷，過潤秋.一種基于DSP 和FPGA 的視頻圖像處理系統(tǒng)的設計方案［J］.電子設計應用，2003，(10):79 -81.

［5］Texas Instruments.TMS320C62xx peripherals reference guide［ED/OL］.［2013 -01 -02］.http://noel.feld.cvut.(z/vyu/scs/ti/TMS320C62xx-peripherals.pdf.

［6］朱明，魯劍鋒.基于DSP+FPGA 結(jié)構(gòu)圖像處理系統(tǒng)設計與實現(xiàn)［J］.計算機測量與控制，2004，12(9):866 -869.

［7］雷玉堂.現(xiàn)代攝像機DSP 圖像處理系統(tǒng)的設計［J］.中國公共安全，2009，(10):140 -151.

［8］陳彬.基于FPGA 的視頻圖像處理系統(tǒng)設計［D］.重慶:重慶大學.2006.

［9］李武森，遲澤英.嵌入式高速DSP 視頻圖像處理系統(tǒng)中數(shù)據(jù)存儲器的接口設計［J］.紅外技術(shù)，2003，25(1):51 -54.

［10］MANUEL T.As the world turns parallel，transputer applications explode［J］.Electronics，1998(12):110 -112.