基于DM642的多姿態(tài)人臉檢測實時系統(tǒng)

王 平，鄒 暘，熊 殷

(南昌大學信息工程學院，江西 南昌 330031)

人臉檢測作為一項特殊的物體檢測，來源于人臉識別技術，一直以來受到各界的廣泛關注。人臉檢測的方法多為基于統(tǒng)計學的后驗學習方法，譬如ANN人工神經(jīng)元網(wǎng)絡、貝葉斯決策以及SVM支持向量機［1-2］。其中，Paul Viola［3］提出的Adaboost算法在保證高質(zhì)量檢測效果的同時，解決了檢測速度的問題。同時，隨著近年來嵌入式技術與視頻通信設備的高速發(fā)展，DSP具有更加貼近視覺工程應用的特點，在人臉檢測方面有了廣泛的應用空間。

本文采用 Lienhart等人［4］提出的 Gentle Adaboost算法，提出并擴充了Haar特征，設計實現(xiàn)了以TMS320DM642為核心的多姿態(tài)人臉檢測系統(tǒng)，最后對算法代碼以及工程進行了優(yōu)化處理。在略微損失系統(tǒng)實時速度的前提下，獲得了很好的多姿態(tài)人臉檢測效果，證明了該系統(tǒng)在實際工程應用中的可行性，為嵌入式人臉檢測的后續(xù)應用打下了基礎。

1 Gentle Adaboost人臉檢測算法

Gentle Adaboost人臉檢測算法是通過Gentle Adaboost算法學習出級聯(lián)型人臉分類器，在此基礎上進行Haar灰度特征值判別的算法，具有魯棒性強、檢測率高等特點。

1.1 擴展型Haar灰度特征

Gentle Adaboost算法采用Haar灰度矩形特征進行人臉建模［5］，使用灰度積分圖進行人臉特征值的快速計算。在傳統(tǒng)人臉矩形特征的基礎上，Lienhart等人［4］提出了擴展型矩形特征，將傳統(tǒng)特征矩形旋轉(zhuǎn)45°，用來檢測傾斜的人臉。擴展型矩形特征分為三大類:邊緣特征，線性特征，中心環(huán)繞特征。為滿足多姿態(tài)檢測的需要，本文又擴充了6種矩形特征，所有矩形特征如圖1所示。用白色區(qū)域與黑色區(qū)域的灰度值差值作為該特征的特征值，每個特征都是一個弱分類器。

圖1 Haar灰度值矩形特征

1.2 Gentle Adaboost算法

Gentle Adaboost算法從訓練樣本中挑選出一些最能代表人臉的矩形特征，將這些弱分類器組合成一個誤檢率低于最大誤檢率fmax(為0.4～0.5)，人臉命中率高于最小命中率dmin(為0.995)的強分類器;將若干強分類器組合成一個級聯(lián)型分類器，直到級聯(lián)型分類器的誤檢率Fpre低于最大誤檢率Fmax。

1.2.1 強分類器的訓練

強分類器的訓練具體步驟為:

1)現(xiàn)有一組訓練樣本 (x1，y1)，(x2，y2)，…，(xi，yi)，其中，xi表示的是樣本，yi表示樣本類別，當i=1時，為人臉樣本，i=-1時，為非人臉樣本。初始化所有樣本的權值wi=1/m，m為總樣本個數(shù)。

1.2.2 級聯(lián)分類器的訓練

級聯(lián)分類器層數(shù)M=logFmax/log fmax。獲取一個強分類器Hn(xi)，與前n－1個強分類器組成當前級聯(lián)分類器對人臉樣本與非人臉樣本進行驗證，剔除被誤檢的人臉樣本與被正確檢測的非人臉樣本;同時，補充無法被當前級聯(lián)分類器正確分類的非人臉樣本到訓練樣本中，更新樣本個數(shù)，最后回到1.2.1節(jié)進行下一輪的強分類器訓練，直到Fpre＞Fmax。

本文使用Gentle Adaboost算法，訓練了10層強分類器組成的級聯(lián)分類器。訓練樣本中，正面人臉樣本為3000張，圖像大小全部歸一化為20×20;噪聲人臉、殘缺人臉、背景圖片等非人臉樣本為7000張。

2 人臉檢測系統(tǒng)

2.1 系統(tǒng)平臺設計

系統(tǒng)總體設計可分為三大單元模塊:DM642模塊、視頻采集回放模塊、EMIF存儲擴展模塊。系統(tǒng)硬件框圖如圖2所示。

圖2 系統(tǒng)硬件框圖

2.1.1 DM642模塊

系統(tǒng)選用的CPU為TI公司TMS320DM642芯片(簡稱DM642)，該芯片是基于C64X內(nèi)核的高端視頻處理芯片，并擴展了外圍設備接口。DM642采用二級Cache緩存結(jié)構(32 kbyte的L1與256 kbyte的L2);其64位外部存儲器接口(EMIF)能夠無縫連接異步存儲器(SRAM，EPROM)及同步存儲器(SDRAM，F(xiàn)IFO)，方便大量數(shù)據(jù)的搬移;3個可配置的視頻端口(VPORT0～2)能夠與視頻編、解碼器實現(xiàn)無縫連接，同時支持多種視頻分辨率及視頻標準和RAW視頻輸入/輸出。系統(tǒng)主要使用了VP1和VP2視頻端口，EMIF端口，并且采用50 MHz晶振作為外部時鐘輸入，通過PLL鎖相環(huán)12倍頻后獲取600 MHz的CPU內(nèi)部時鐘。利用TI公司的TPS54350芯片為系統(tǒng)提供3.3 V電源(包括1.4 V的內(nèi)核電壓和3.3 V的I/O外部設備電壓)來確保DM642高頻率下的穩(wěn)定工作，同時監(jiān)控輸入電壓，實現(xiàn)上電初始化復位。

2.1.2 視頻采集回放模塊

由于輸入信號是CCD攝像頭采集的模擬信號，因此采用TI公司的TVP5150PBS解碼器與VP2口連接，對輸入信號按照YCbCr 4∶2∶2格式進行A/D轉(zhuǎn)換后，輸出ITU-RBT.656格式視頻信號。TVP5150PBS支持PAL/NTSC/SECAM格式視頻，DM642通過I2C總線配置其內(nèi)部寄存器進行視頻格式的設置。硬件連接圖如圖3所示。圖中，YOUT［7-0］口與 VP2 數(shù)據(jù)位 VP2_D［7-2］相連，用于傳輸數(shù)據(jù)。時鐘線PSLK/SCLK與DM642的VP2_CLK1相連，為數(shù)據(jù)傳輸提供時鐘信號。同時為滿足視頻自環(huán)回放，需要將DSP處理后的數(shù)字信號轉(zhuǎn)換為模擬信號輸出。因此，采用PHILIPS公司的SAA7104編碼器對處理后的BT.656視頻信號進行D/A轉(zhuǎn)換后輸出給顯示器。DM642通過I2C總線對SAA7104進行視頻格式的配置。硬件連接圖如圖4所示。圖中，時鐘線PIXCLK1與VP2CLK1相連，因此SAA7104時鐘由TVP5150提供，實現(xiàn)視頻采集與回放的同步。SAA7104將輸入的YCbCr視頻信號分離后單獨進行數(shù)模轉(zhuǎn)換，通過引腳輸出復合視頻信號或者S-子端信號。

圖3 TVP5150端口連接圖

2.1.3 EMIF存儲擴展模塊

圖4 SAA7104端口連接圖

系統(tǒng)人臉檢測涉及到大批量程序處理，同時伴隨大量數(shù)據(jù)的產(chǎn)生。為了保證系統(tǒng)的運行效率，DM642內(nèi)部的256 kbyte Cache全部用于代碼運算，同時必須外接SDRAM滿足系統(tǒng)開銷。DM642提供的EMIF端口具有64 bit數(shù)據(jù)線、若干控制總線和4個片使能地址空間(CE0～CE3，其中CE0分配給SDRAM，CE1分配給Flash)。系統(tǒng)選用2片MT 48LC4M32B2(4 Bank×1 M×32 bit)構成4 M×64 bit的外設RAM，供程序開銷與數(shù)據(jù)存儲;采用1片AM29L008B Flash芯片(4 M×8 bit)組成外設ROM，供程序燒錄。

2.2 系統(tǒng)檢測流程

系統(tǒng)運行后，通過攝像頭采集一幀視頻信號，緩存在SDRAM中供DSP芯片進行人臉檢測。計算出圖像的灰度積分圖，利用24×24規(guī)格的窗口遍歷整個圖片。對第一個窗口圖像進行特征值與擴大窗口的相似度特征值的計算，根據(jù)訓練的10層級聯(lián)分類器進行閾值判斷。通過了所有強分類器閾值檢測的窗口及擴大窗口被標記為人臉窗口，否則，立即停止該窗口的檢測，進行下一窗口的處理。所有窗口檢測完畢后將重復標記的人臉窗口進行合并，獲得有人臉標記的圖像后并將其輸出，同時進行下一幀圖像的獲取與檢測。檢測流程圖如圖5所示。

圖5 系統(tǒng)檢測流程圖

2.3 檢測算法實現(xiàn)與優(yōu)化

2.3.1 算法的實現(xiàn)

參考Intel公司開源的Opencv計算機視覺庫代碼。由于該庫的C及C++類代碼基于X86構造芯片進行了優(yōu)化，因此必須對代碼中的數(shù)據(jù)結(jié)構和人臉檢測算法進行裁剪、修改，使其適合在DSP系統(tǒng)上運行。利用CCS2.20.18在系統(tǒng)初始的視頻回放工程文件基礎上進行代碼修改與工程配置，將工程的軟件流水線優(yōu)化選項設置為-ms0，以此提高代碼的運行效率。結(jié)合EMCV庫，最終在DSP上實現(xiàn)人臉檢測算法。

2.3.2 浮點運算定點化

DM642是一款定點運算的DSP處理器。由于人臉檢測算法采用了大量浮點運算，為提高檢測速度，必須采取浮點運算轉(zhuǎn)定點運算的優(yōu)化措施。定點化的優(yōu)化方法有兩種:1)在保證精度的前提下，手工對數(shù)據(jù)位進行修改，提取指數(shù)和尾數(shù)，最后對尾數(shù)進行移位操作;2)直接調(diào)用TI公司浮點運算轉(zhuǎn)定點的FastRts庫，利用庫函數(shù)進行浮點運算定點化的優(yōu)化。系統(tǒng)采用后者的優(yōu)化方案，并使用DSP C6000系列芯片獨有的內(nèi)聯(lián)函數(shù)_mpyd()，_addd()，_fixfi()，_divd()等，對算法循環(huán)體系內(nèi)的算術代碼進行運算加速優(yōu)化。調(diào)用Bios函數(shù)CLK_getltime()獲取檢測算法在DM642上的檢測時間。

2.3.3 圖像Scale預處理

選取分辨率為704×480的NTSC格式視頻，對其縮放并獲取分辨率為352×240的CIF格式圖像。由于人臉檢測是基于灰度值進行計算的，對于待檢圖像的分辨率要求也不高，因此只對Y分量灰度值信號進行Scale預處理，除去其奇數(shù)行掃描線與奇數(shù)列像素信息，使待檢圖像面積縮小為CIF圖像的1/4，從而減少待檢圖像的信息量。采用此方法優(yōu)化后，DSP從PC機上讀取100張待檢彩色人臉圖片進行檢測。調(diào)用函數(shù)CLK_getltime()獲取對圖片人臉檢測的檢測時間。

3 實驗結(jié)果

3.1 優(yōu)化算法對系統(tǒng)性能的提升

在人臉檢測系統(tǒng)上(圖6所示)采用算法優(yōu)化方案，使用訓練的10層級聯(lián)分類器對100張彩色待檢圖片進行檢測，其檢測速度、檢測率和誤檢、漏檢率結(jié)果如表1所示。

圖6 系統(tǒng)實物圖

表1 實驗數(shù)據(jù)

從表1中可以得出，在保證較高檢測率的前提下，對算法進行浮點運算定點化和圖像Scale預處理的優(yōu)化后，系統(tǒng)檢測速度分別提高了8倍和10倍。雖然誤檢率與漏檢率較未優(yōu)化前有所提高，但仍處于可接受的范圍內(nèi)。而檢測率保證在90%，確保了系統(tǒng)檢測的高精度性，同時系統(tǒng)檢測速度最終達到了13 f/s的實時速率。

3.2 多姿態(tài)人臉檢測

在該系統(tǒng)上對采集的多姿態(tài)人臉視頻信號進行人臉檢測，檢測結(jié)果如圖7所示。

圖7 多姿態(tài)人臉檢測結(jié)果

實驗結(jié)果表明該系統(tǒng)在光照充足的條件下，使用Gentle Adaboost人臉檢測算法和Haar特征訓練出的人臉分類器可以對多個姿態(tài)的正面人臉進行正確的人臉分類，同時可以檢測出有一定偏轉(zhuǎn)角度的人臉，并且沒有誤檢出背景圖像，保證了較低的誤檢率，證明Gentle Adaboost算法在多姿態(tài)人臉檢測中有著優(yōu)異的表現(xiàn)，該系統(tǒng)能夠準確檢測并標記出各個姿態(tài)和小角度偏轉(zhuǎn)人臉。

4 結(jié)束語

本文使用Gentle Adaboost算法訓練出級聯(lián)型人臉分類器，基于DM642設計并實現(xiàn)了多姿態(tài)人臉檢測實時系統(tǒng)，并對系統(tǒng)檢測速度進行了一系列的優(yōu)化處理。在保證高檢測率的前提下，獲得了80倍的系統(tǒng)性能提升，達到了13 f/s的實時檢測速度。實驗證明，該檢測系統(tǒng)很好地排除了背景區(qū)域，檢測出了圖像中各種姿態(tài)的人臉，拓展了人臉檢測在嵌入式領域的應用范圍，也為下一階段的人臉識別、智能監(jiān)控、區(qū)域安防等具體應用奠定了基礎。

［1］艾海舟，肖習攀，徐光佑.人臉檢測與檢索［J］.計算機學報，2003，26(7):874-881.

［2］楊稀，楊帆，李巖，等.復雜背景的快速人臉檢測研究［J］.電視技術，2011，35(23):125-128.

［3］VIOLA P，JONES M.Rapid object detection using a boosted cascade of simple features［C］//Proc.IEEE Conference on Computer Vision and Pattern Recognition.Hawaii，USA:IEEE Press，2001:511-518.

［4］LIENHART R，MAYDT J.An extended set of Haar-like features for rapid object detection［J］.IEEE ICIP，2002，1:900-903.

［5］孫偉，張震國，張忠.基于DSP的多視角人臉檢測系統(tǒng)設計［J］.信息技術，2008(9):75-79.