視頻運動圖像中人臉清晰度的分析與捕捉

李科，劉允才

0 引言

目前，單攝像頭的監(jiān)控廣泛應(yīng)用于工業(yè)控制、安全保障、交通監(jiān)控、門禁系統(tǒng)等領(lǐng)域。在很多領(lǐng)域（如：安保系統(tǒng)，門禁系統(tǒng)）需要自動的將人臉的圖像，從視頻中檢測出并記錄。由于視頻記錄的是連續(xù)的圖像，同一個人根據(jù)其停留時間的長短，可以產(chǎn)生幾千至幾萬幅圖像，如果將其全部記錄是一種對空間的浪費，也為后期的查找工作帶來很大的麻煩，選擇其中清晰度高的記錄，是一種直觀的可行辦法。由于光線、視角、遮擋等因素，視頻中檢測到的人臉并不總是正面清晰的，很可能是模糊的，從大量的連續(xù)圖像中，自動選取一個清晰人臉成為一個難題。本文提出了利用頻域變換的方法在大量人臉序列圖像中得到高清晰度圖像的方法。

1 人臉圖像清晰度的分析

圖像是否清晰，在頻域是由其高頻分量決定的，而高頻分量越豐富，經(jīng)過頻域變換后其值越大，通過一定的預(yù)處理，可以使頻域變換值與清晰度成正比關(guān)系，以此來選擇圖像，主要包含以下處理過程：

1）圖像預(yù)處理與人臉的檢測

根據(jù)監(jiān)控區(qū)域的特點來決定采用的圖像預(yù)處理的方法。如果監(jiān)控區(qū)域整體亮度太高，將首先降低亮度值；如果監(jiān)控區(qū)域整體亮度太低，將首先升高亮度值。然后將彩色圖像轉(zhuǎn)化為黑白圖像，這樣一方面可以提高處理速度，一方面方便下一步的處理。然后對圖像進行直方圖均衡化，使整個圖像的灰度平衡。最后對圖像進行形態(tài)學(xué)處理，得到一個相對理想的圖像。

使用參考文獻[1]中的方法檢測人臉。盡管這個方法可以給我們提供非常高的檢測率和很低的錯檢率，但仍然會有一些錯誤的區(qū)域被當做人臉，如不是皮膚顏色的區(qū)域和相互包含的區(qū)域?？梢杂脙蓚€步驟來處理這個問題。首先檢查各個被認為是人臉的區(qū)域的坐標和大小，如果發(fā)現(xiàn)有一個大區(qū)域包含了一個小區(qū)域，去除那個較大的。然后檢測各個區(qū)域的顏色，大量的統(tǒng)計表明，在YCbCr顏色空間中，只有那些值在0

2）人臉的跟蹤

如圖1所示，本步驟如下所述：為便于描述，我們先定義幾個變量。數(shù)組變量PRE[]用來記錄前一幀捕獲的人臉信息，數(shù)組變量CUR[]用來記錄本幀捕獲的人臉信息。數(shù)組變量有以下兩種主要狀態(tài)：有用，無用。有用表示這個變量正被用于記錄信息，無用表示這個變量沒有被使用或者已經(jīng)被廢棄。有用狀態(tài)又有三個分支狀態(tài)：新的，正常的，消失的。新的表示這個變量存儲的是一個新檢測到的人臉信息，并且其置信值小于置信閾值下限，我們還不信任這是一個人臉。正常的表示這個人臉連續(xù)多次被檢測到。消失的表示這個人臉以前是正常的，但在最近幾幀中消失了，并且消失時間小于消失時間閾值。

對每個變量CUR，我們查詢哪個PRE能夠和它匹配，如果有匹配的，我們記錄是數(shù)組的第幾個變量匹配。如果沒有匹配的，我們認為這個是新出現(xiàn)的人臉，將其信息保存在一個無用的PRE中。

對于每一個匹配的PRE，考慮它的狀態(tài)。如果它是新的，增加它的置信值，保存人臉信息。如果它是正常的，只需要保存人臉信息。如果是消失的，這說明我們再次找到了這個人，將其狀態(tài)變更為正常的，保存人臉信息。

對于數(shù)組CUR[]中每一個CUR執(zhí)行以上步驟，然后處理那些數(shù)組PRE[]中未被匹配的。如果狀態(tài)是新的并且置信值小于閾值，認為它是噪聲，直接刪除。如果狀態(tài)是新的但是置信值大于閾值，減小置信值。如果是正常的并且在圖像邊界附近，認為它是走出了監(jiān)控區(qū)域，輸出現(xiàn)有信息。如果是正常的但是沒有在圖像邊界附近，將其標記為消失。如果狀態(tài)是消失但是消失時間小于閾值，增加消失時間。如果狀態(tài)是消失的并且消失時間大于閾值，認為其消失了，輸出現(xiàn)有信息。

3）人臉的捕捉

人臉選擇部分主要通過頻域方法實現(xiàn)。首先將所有候選圖像歸一化為同一大小，然后截取正中間的20乘以20像素的圖像進行處理。根據(jù)人臉檢測的特點，人臉的主要部分主要集中在圖像中央，這樣做既可以減小計算量，又可以盡量減小背景的干擾。

圖1

可以選擇的頻域方法有快速離散傅里葉變換和小波變換，小波變換也可以選擇不同的基?；趯崟r監(jiān)控的特點，要求算法具有實時性，并且具有優(yōu)秀的效果，因此我們對比了FFT和基于haar基和bior基的小波變換。

i.快速離散傅里葉變換

二維離散傅里葉變換具有可分離性，即它可由兩次一維離散傅立葉變換計算得到，因此，僅研究一維離散傅立葉變換的快速算法即可。一維FFT的公式如下：

定義

于是

由此，可將一個N點的離散傅立葉變換分解成兩個N／2短序列的離散傅立葉變換，即分解為偶數(shù)和奇數(shù)序列的離散傅立葉變換Fe(u)和Fo(u)。

利用 FFT對候選圖像進行處理，然后將變換中心移到圖像中心，這時遠離中心的點代表高頻分量，計算高頻分量的強度，綜合此值以及原始圖像的大小來決定選取哪副圖像。

ii.小波的變換

二維小波具有可分離性、尺度不變性和平移性。核可以用3個可分的二維小波來表示：

其中，ψH(x,y), ψV(x,y)和ψD(x,y)分別稱為水平、垂直和對焦小波，并且一個二維可分的尺度函數(shù)是

對候選圖像進行二維小波分解，并且計算水平分量和垂直分量的大小，選取值較大的。由于人臉的運動模糊主要來至于頭的水平轉(zhuǎn)動和垂直轉(zhuǎn)動，對角分量顯得不是那么重要，在不降低質(zhì)量的情況下，可以減少計算量，提高計算速度。

2 實驗分析

利用 matlab的小波包，對得到的圖像進行離散傅里葉變換和小波變換，記錄變換的時間以及選擇的圖片，比較時間的長短和圖像的質(zhì)量。在本實驗中，由視頻監(jiān)控程序捕捉到得候選圖像和結(jié)果如下：

圖2

在matlab中分別用 FFT、Haar、bior3.1、bior3.3、bior3.5對以上圖像進行變換，比較高頻分量的值，選擇最大的一個。左邊的圖像為候選人臉，右邊第一列是用FFT得到的結(jié)果，右邊第二列是用Bior3.1小波得到的結(jié)果（其他小波基的結(jié)果同此）。得到的結(jié)果顯示，快速離散傅里葉變換和各種小波變換的選擇，在質(zhì)量上都是可以接受的。

對于第一行的人臉（其他人臉類似），各種方法的速度見下表，從圖表中可以看出，bior3.1具有最快的速度，這對實時系統(tǒng)非常重要，因此可以選擇基于bior3.1基的小波變換來處理圖像。

表1

3 結(jié)論

本文提出了一種實時提取監(jiān)控視頻中最清晰人臉的方法，利用圖像預(yù)處理、人臉檢測、人臉跟蹤得到大量候選圖像，然后通過頻域方法選擇最清晰的人臉。本文比較了快速離散傅里葉變換和幾種不同基的小波變換，可以看出各種頻域方法都有可以接受的質(zhì)量，但是基于bior3.1基的小波具有最快的速度，最適合實時監(jiān)控的特點。實驗結(jié)果顯示了本文所提出的方法是有效的。

[1]Paul Viola and Michael Jones: Rapid Object Detection using a Boosted Cascade of Simple Features. IEEE Conference on Computer Vision and Pattern Recognition 2001.

[2]Rainer Lienhart and Jochen Maydt: An Extended Set of Haar-like Features for Rapid Object Detection.Internationl Conference on Image Processing 2002.

[3]Omar Javed and Mubarak Shah:Tracking And Object Classification For Automated Surveillance.Europeon Conference on Computer Vision 2002.

[4]Bo Wu and Ram Nevatia:Cluster Boosted Tree Classi fi er for Multi-View,Multi-Pose Object Detection.IEEE International Conference on Computer Vision 2007.

[5]孫延祿:關(guān)于銀幕畫面清晰度的評價與表征方法.MOTION P ICTURE &VIDEO TECHNOLOGY 2002,No.8 22-30.

[6]劉興寶,袁道成:基于紋理分析的小波變換圖像清晰度評價方法研究.儀器儀表學(xué)報2007,No.8 .

[7]江澤民,徐德,楊月全,譚民:基于小波包分解的圖像清晰度判定.中國圖像圖形學(xué)報2004,No.6.