基于特征分析的人臉檢測算法的DSP實現(xiàn)

劉紀紅，劉 祚，李中帆

(東北大學信息科學與工程學院，沈陽110819)

在智能監(jiān)控系統(tǒng)中涉及人臉檢測、人臉跟蹤、人臉識別、表情識別等技術，其中人臉檢測是最為關鍵的一個步驟，是后續(xù)處理過程的基礎［1］。起初的人臉研究工作主要體現(xiàn)在人臉識別范疇，并且大都是假設已經(jīng)獲得一個正面的人臉或者是人臉很容易獲取的前提情況下。但隨著人臉應用領域的逐漸擴大和實際要求的逐漸提高，這種假設前提下的研究工作不能夠繼續(xù)滿足需求了，進而復雜背景下，滿足多角度、多尺度人臉的實時檢測漸漸成為獨立的研究課題并且發(fā)展起來［2-3］。

數(shù)字信號處理器是適合高速運算的電子器件，可以實現(xiàn)實時圖像處理和分析。系統(tǒng)使用了適合做監(jiān)控的CCD攝像頭做圖像傳感器，獲取有效的數(shù)字圖像信息［4］。本文將在分析人臉膚色和形狀特征的基礎上，討論在DSP系統(tǒng)中實現(xiàn)人臉的實時監(jiān)測算法。

1 人臉檢測DSP硬件平臺

人臉檢測的硬件平臺采用以TI達芬奇系列單核DSP TMS320DM6437為核心芯片的ICETEKDM6437-B評估板。ICETEK-DM6437-B評估板是專為視頻和圖像應用開發(fā)的處理平臺，DM6437是一款專用于數(shù)字圖像處理的高性能32 bit定點DSP處理器，工作主頻高達600 MHz，處理性能(每秒處理指令數(shù))可達 4 800 MIPS(Million Instructions per Second)［5］。板載DDR2存儲器通過32 bit專用總線與DM6437相連。板載視頻編碼芯片TVP5146把視頻流接入到DM6437。DM6437通過片上視頻輸出接口輸出視頻流。DM6437可以通過板載JTAG接口與仿真器相連進行調試。ICETEK-DM6437-B評估板提供屏幕顯示功能［6］。

本文中人臉檢測硬件系統(tǒng)結構框圖如圖1所示，其中包括:圖像采集模塊、DSP核心處理模塊和顯示模塊:

(1)圖像采集模塊:CCD攝像頭采集圖像，經(jīng)過板載視頻解碼芯片TVP5146解碼，送到DSP核心處理模塊。

(2)DSP核心處理模塊:接收解碼后的圖像，實現(xiàn)人臉檢測，將人臉區(qū)域在圖像中標定并輸出到顯示模塊。

(3)顯示模塊:用于顯示處理后的圖像。

圖1 人臉檢測硬件系統(tǒng)結構框圖

2 人臉檢測DSP實現(xiàn)軟件流程

本文設計的人臉檢測算法在DSP上的實現(xiàn)流程如圖2所示，其中人臉檢測算法主要流程包括3部分:(1)預處理 獲取待檢測人臉圖像的YUV圖像數(shù)據(jù);(2)膚色區(qū)域的分割 對YUV圖像進行膚色提取，確定膚色連通域以及最小外接矩形;(3)人臉區(qū)域的定位 通過判別條件排除不規(guī)則但與膚色色調接近的物體和人體其他非人臉部分(如彎曲的四肢等)以及實現(xiàn)脖子部分的排除。下面將詳細討論人臉檢測算法的DSP實現(xiàn)。

圖2 人臉檢測算法流程圖

2.1 預處理

將RGB圖像數(shù)據(jù)轉換為YUV圖像數(shù)據(jù)，這是因為在RGB色彩空間里人臉的膚色受亮度影響相當大［7］，膚色像素很難從非膚色像素中分離出來，處理后膚色點是離散的點，中間嵌有很多非膚色，這為膚色區(qū)域的標定(人臉標定、眼睛等)帶來了難題，而如果把RGB色彩空間轉換為YUV色彩空間的話，可以忽略Y(亮度)分量的影響，膚色會很好的類聚［8-9］。

在本文中待識別人臉圖像采用了兩種方式送入:在DM6437內(nèi)存中存入一幅圖像和通過CCD攝像頭采集一幅圖像。若在DM6437內(nèi)存中存入一幅圖像則需要將RGB圖像數(shù)據(jù)轉換為YUV圖像數(shù)據(jù);若為CCD攝像頭采集，則不需要RGB到YUV色彩空間變換，因為DM6437支持YUV422格式。

RGB色彩空間到YCbCr色彩空間的轉換公式［10］如式(1):

2.2 膚色區(qū)域的分割

2.2.1 膚色區(qū)域的提取

膚色區(qū)域的提取是根據(jù)大量實驗得出膚色范圍的 Cb、Cr值:100≤Cb≤130，140≤Cr≤170 來判定的。若像素點Cb、Cr范圍在此區(qū)域內(nèi)，則該像素點為膚色像素點。然后進行二值化，將膚色區(qū)域像素點在相對彩色空間位置的像素置為白色，將非膚色區(qū)域像素點在相對彩色空間位置的像素置為黑色，由此可以得到膚色區(qū)域的二值圖像。

圖3 人臉檢測算法流程圖

2.2.2 膚色區(qū)域連通域及最小外接矩形的確定

連通域及最小外接矩形的確定過程采取分兩次對整幅二值圖像掃描，第1次確定連通域及其標號，其流程如圖3所示，連通域示意圖如4所示。第2次再次掃描圖像，找出連通域內(nèi)橫縱坐標的最小值和最大值，確定其最小外接矩形，并記錄其內(nèi)白像素點數(shù)目。

圖4 連通域示意圖

對于連通域在DSP實現(xiàn)采用區(qū)域增長法［11-13］。

對于二值圖像中所有像素點依次掃描，當發(fā)現(xiàn)到某個未被標記的目標像素點時，把它壓入堆棧并且從這一點開始反復標記它的鄰域，當堆棧為空時停止。在8鄰域連通規(guī)范下，區(qū)域增長法的平均掃描次數(shù)能夠由8次下降到4次。

先腐蝕后膨脹的過程稱為開運算，可以消除細小物體、分離物體、平滑較大物體的邊界且不明顯改變其面積的左右。開運算定義如式(2)。

先膨脹后腐蝕的過程稱為閉運算，可以填充物體內(nèi)細小空洞、連接臨近物體、平滑邊界等。閉運算定義如式(3)。

其具體步驟如下:

(1)判斷目標點為背景點還是“前景”點，區(qū)域增長算法只對“前景”點起作用，如果當前目標像素點的灰度為0，則重復進行步驟(1)，順次掃描下一個目標像素點;如果當前目標像素點的灰度等于255，則跳到步驟(2);

(2)判斷該像素點上半部分鄰域(即左上鄰域、上鄰域、右上鄰域及左鄰域)是否存在前景點，若存在則直接進入步驟(3);否則將其當前點賦予一個新的標號，進行步驟(4);

(3)獲取上半部分鄰域像素點中存在標號的最小值，將其最小標號賦給當前目標點，進行步驟(4);

(4)判斷下一目標點，直到整幅圖像都被掃描過。

2.3 人臉區(qū)域的定位

在提取出膚色區(qū)域后，要想精確定位出人臉，則需要排除一些可能存在的干擾。綜合考慮其干擾，可能包含以下3方面:(1)與膚色色調接近的物體;(2)非人臉膚色區(qū)域，如四肢等;(3)脖子對精確定位的影響。

考慮到上述3方面對人臉定位造成的影響，下面分別對上述情況進行處理，以達到精確定位人臉的目的。

2.3.1 膚色色調接近物體排除

對膚色區(qū)域確定后的圖像，根據(jù)其連通域內(nèi)像素點總數(shù)，可以排除一些比較小的連通域塊;根據(jù)連通域內(nèi)膚色像素點總數(shù)與連通域外接矩形的像素總數(shù)的比值可以排除掉彎曲的四肢等;根據(jù)其外接矩形的高寬比值可以排除一些狹長的膚色及類似膚色區(qū)域。

綜合考慮各種人臉庫圖像樣本，設定連通域內(nèi)白像素點總數(shù)閾值為2 000，即小于2 000個白像素點總數(shù)的連通域將被排除掉?？紤]臉部區(qū)域內(nèi)白像素點總數(shù)與連通域外接矩形像素總數(shù)的比值，設定該閾值為0.6。根據(jù)人臉的外觀特征，設定滿足要求的連通域高寬比值應該在0.8～2.0之間，其中2.0這個值是考慮到脖子的影響，因此設置范圍較大。

如圖5所示，可以看到原始圖像及排除膚色色調相近物體前后對比，其中原圖中背景露出的土地為膚色相近物體，經(jīng)過上述判定，被排除掉。

圖5 膚色色調相近物體排除結果

2.3.2 非人臉膚色區(qū)域排除

根據(jù)先驗知識，人臉內(nèi)部器官(如眼睛、嘴等)進行邊緣檢測后會存在許多邊緣，而手等純膚色區(qū)域邊緣會很少。但由于邊緣檢測計算量相對較大，考慮到DSP內(nèi)存資源及系統(tǒng)計算速度，根據(jù)眼睛、嘴等像素點在連通域內(nèi)為黑，黑像素點較多，而純膚色中黑像素點很少，因此采用黑像素點個數(shù)設置閾值來進行區(qū)分。結果如圖6所示，其中原圖包含手這樣的純膚色模塊，通過該過程被排除掉。

圖6 非人臉膚色區(qū)域排除結果

2.3.3 脖子部分的排除

對于脖子部分的排除，本文進行了大量的圖像實驗驗證，最后確定將滿足上述條件的連通域細化為3類，并設計了對應解決方法:

(1)若連通域外接矩形高寬比范圍在0.8～1.3，保持原高度、寬度不變;

(2)若連通域外接矩形高寬比范圍在1.3～1.5，高度變?yōu)樵叨鹊?.85倍，寬度保持不變;

(3)若連通域外接矩形高寬比范圍在1.5～2.0，高度變?yōu)樵叨鹊?.7倍，寬度保持不變。

脖子部分的排除如圖7所示，可以看到原圖與排除脖子部位影響后的結果。

圖7 脖子部分的排除結果

2.4 程序優(yōu)化及誤差分析

在DM6437編譯器中定義的數(shù)據(jù)類型如表1所示:long型數(shù)據(jù)長度為64 bit，因此要避免將int和long型作為相同的尺寸處理。由于C64x+內(nèi)部寄存器都是32 bit的，而且內(nèi)核的32 bit的8個執(zhí)行單元每次處理的數(shù)據(jù)若也是采用64 bit long型表示數(shù)據(jù)，就會導致每次使用的不是一個寄存器存取。這不僅對DSP內(nèi)部寄存器使用而言是極大的浪費，也會占用更多的功能單元，浪費大量的DSP內(nèi)核處理時間。所以本文在不影響精度的情況下，把程序中的long型全部換成int或short型。

表1 DM6437數(shù)據(jù)類型

執(zhí)行一次short×short運算僅用1個指令周期，而執(zhí)行一次int×int運算需要花費5個指令周期。所以本文對定點乘法輸入采用了short型數(shù)據(jù)。這樣可以最有效地利用DSP內(nèi)部的16 bit乘法器，加快指令執(zhí)行速度。并且對循環(huán)計數(shù)器使用int或unsigned int類型，而不使用 short或者 unsigned short類型，來避免不必要的符號擴展指令。

3 測試與結果分析

3.1 測試方案與測試數(shù)據(jù)

本節(jié)中對本文設計的人臉檢測方法進行綜合測試。測試方案如下:按照圖片來源其測試內(nèi)容包括網(wǎng)絡圖像、FDDB人臉檢測數(shù)據(jù)庫圖像、實際生活中采集的圖像3種類型;按照圖像中人臉數(shù)目測試內(nèi)容分為簡單背景的單人臉圖像和復雜背景的多人臉圖像。人臉檢測結果統(tǒng)計表如表2和表3所示。其中定義人臉檢測率為正確檢測出人臉的數(shù)目與圖像中所有人臉數(shù)目的比值;誤檢率為檢測出非人臉數(shù)目與圖像中所有人臉數(shù)目的比值;漏檢率為沒有檢測出來的人臉數(shù)目與人臉總數(shù)的比值。

同時對MATLAB與DSP的人臉檢測程序進行運算速度的測試，測試采用10張單人臉圖像以及10張多人臉圖像作為測試圖像。MATLAB人臉檢測程序在MATLAB中利用tic、toc函數(shù)直接得到運行時間，DSP人臉檢測程序可以在CCS得到系統(tǒng)運行時所需的時鐘周期。其中，MATLAB運行環(huán)境為Windows 7系統(tǒng)，采用2.8 GHz主頻的Intel CPU以及8G RAM，ICETEK-DM6437-B的系統(tǒng)時鐘設定為600 MHz。MATLAB與DSP人臉檢測程序運算速度對比如表4所示。

表2 不同圖像來源人臉檢測統(tǒng)計表

表3 不同人臉數(shù)目人臉檢測統(tǒng)計表

表4 MATLAB與DSP人臉檢測程序運算速度對比表

模擬實際監(jiān)控錄像采集圖像，對其進行人臉檢測。實驗地點為宿舍，將照相機支架置放在床鋪上，此時照相機與地面的距離大約為2.2 m左右(床高大約1.7 m，支架高大約0.5 m)，連續(xù)采集圖像。其采集原圖像與DSP人臉檢測結果如圖8所示。

圖8 DSP人臉檢測結果

3.2 結果分析

從上面數(shù)據(jù)可以看出，網(wǎng)絡圖像和FDDB人臉數(shù)據(jù)庫中的圖像其人臉正確檢測率相比生活中采集的圖像檢測率高，針對DSP優(yōu)化的人臉檢測程序運算速度要強于MATLAB，同時可以得出DSP人臉檢測程序很好的滿足了人臉檢測實時性的要求。通過對測試生活圖像和網(wǎng)絡圖像膚色提取后的結果分析，主要存在兩方面原因。一是采集圖像本身質量問題，拍攝網(wǎng)絡圖像如明星合影等所使用的攝像機像素相對較高，同時拍攝過程中會采取補光等一些措施，因此對其進行膚色提取效果較好;二是生活圖像的背景比較復雜，可能含有更多的與膚色相近的物體，而且大多數(shù)在室外取景的生活照片，其膚色的提取過程受光線影響很大。

4 結論

本文在ICETEK-DM6437-B評估板上實現(xiàn)了實時人臉檢測算法。算法首先根據(jù)MATLAB環(huán)境中統(tǒng)計好的膚色模型確定所有候選膚色區(qū)域，依據(jù)人臉的形狀特征排除非人臉區(qū)域，可以實現(xiàn)所有人臉的精確定位;同時采用區(qū)域增長的連通域方法來確定人臉候選塊，代替了邊緣檢測等方法，進而減少了DSP的運算量。實驗結果表明，經(jīng)過優(yōu)化的算法在DM6437上可以很好的滿足實時人臉檢測的要求。

［1］葛薇.自動人臉識別的關鍵問題研究［D］.北京:中國科學院研究生院，2007.

［2］隋靜.基于視頻圖像的人臉檢測方法研究［D］.西安:西安電子科技大學，2011.

［3］Yang M H，Kriegman D，Ahuja N.Detecting Faces in Images:A Survey［J］.IEEE Trans Pattern Analysis and Machine Intelligence，2002，24(1):34-58.

［4］王珺，彭進業(yè)，李丹嬌，等.基于DSP的視頻人臉監(jiān)控系統(tǒng)設計與實現(xiàn)［J］.計算機測量與控制，2012，20(3):697-701.

［5］Texas Instruments Inc.TMS320DM6437 Digital Media Processor［EB/OL］.Product Specifications，http://www.ti.com.cn/.

［6］瑞泰創(chuàng)新科技有限責任公司.ICETEK-DM6437-B實驗手冊［S］.北京:瑞泰創(chuàng)新科技有限責任公司，2011.

［7］Augusteijn M F.Identification of Human Faces through Texture-Based Feature Recognition and NeuralNetwork Technology［C］//Proceedings of IEEE Conference on Neural network，1993:392-398.

［8］姜軍，張桂林.一種基于知識的快速人臉檢測方法［J］.中國圖像圖形學報，2002，7(1):6-10.

［9］Vidit Jain，Erik Learned-Miller.A Benchmark for Face Detection in Unconstrained Settings［R］.Technical Report UM-CS-2010-009，Dept.of Computer Science，University of Massachusetts，Amherst，2010.

［10］Rafael C Gonzalez，Richard E Woods.Digital Image Processing，Third Edition［M］.New Jersey:Prentice Hall Publication，2008.

［11］李華勝，楊樺，袁保宗.人臉識別系統(tǒng)中的特征提?。跩］.北京交通大學學報，2003，25(2):6-10.

［12］高紅波，王衛(wèi)星.一種二值圖像連通域標記的新算法［J］.計算機應用，2007，27(11):2776-2777.

［13］張瑩，李勇平，敖新宇.基于OpenCV的通用人臉檢測模塊設計［J］.計算機工程科學，2011，1(5):97-101.