王 鎮(zhèn),童 瑩,曹雪虹,,焦良葆
(1.南京郵電大學(xué)通信與信息工程學(xué)院,江蘇南京210003;2.南京工程學(xué)院通信工程學(xué)院,江蘇南京211167)
人臉面部表情是人類重要的形體語(yǔ)言之一,能夠比較準(zhǔn)確地反映情感、精神、心理等狀態(tài)變化。近年來(lái),利用計(jì)算機(jī)分析理解人臉表情完成相關(guān)工作,在人機(jī)交互中具有重要應(yīng)用前景,人臉表情識(shí)別技術(shù)逐漸成為研究熱點(diǎn)。人臉表情識(shí)別系統(tǒng)如圖1所示,由表情圖像預(yù)處理、人臉檢測(cè)與區(qū)域分割、表情特征提取和分類4個(gè)部分組成[1]。對(duì)于一幅高質(zhì)量圖像,特征提取和分類是人臉表情識(shí)別系統(tǒng)的兩個(gè)重要步驟??紤]到分類器識(shí)別效果好壞很大程度上取決于特征描述準(zhǔn)確性的高低,因此表情特征提取是人臉表情識(shí)別系統(tǒng)的重要環(huán)節(jié),是提高分類準(zhǔn)確率的關(guān)鍵。
圖1 人臉表情識(shí)別系統(tǒng)流程圖
常見(jiàn)的靜態(tài)圖像人臉特征提取方法有主成分分析法(PrincipalComponentAnalysis,PCA)[2]、獨(dú)立分量分析法(IndependentComponentAnalysis,ICA)[3]、Gabor 小波變換[4]、局部二值模式(LocalBinaryPattern,LBP)[5]和尺度不變特征變換(ScaleInvariantFeatureTransform,SIFT)[6]等。PCA、ICA子空間方法受樣本數(shù)量、圖像空域變化影響較大;LBP 是一種有效的紋理描述子,但編碼方式對(duì)鄰域灰度值變化敏感;Gabor小波變換、SIFT算子運(yùn)行時(shí)間長(zhǎng),特征維數(shù)巨大,不具有實(shí)時(shí)性,因此這些特征提取算法仍有局限性。針對(duì)這些不足,Dala N和Triggs B在2005年提出了梯度方向直方圖(Histograms of oriented gradients,HOG)[7]算法,它是一種形狀描述子,通過(guò)計(jì)算局部區(qū)域的梯度方向并統(tǒng)計(jì)個(gè)數(shù),得到梯度方向直方圖,能夠很好地表征圖像的邊緣信息,具有方向不變性等特點(diǎn)。因此,相比LBP、Gabor、SIFT等算子,本文采用改進(jìn)HOG算子可以有效提取人臉表情特征,且設(shè)置合理參數(shù)使特征維數(shù)大大降低,具有實(shí)時(shí)性。
但實(shí)際應(yīng)用中,人臉表情圖像獲取容易受噪聲、光照、遮擋等因素影響,圖像質(zhì)量參差不齊,因此在進(jìn)行表情特征提取和識(shí)別之前,預(yù)處理工作又顯得尤為重要。本文僅考慮受噪聲污染嚴(yán)重的情況,首先對(duì)圖像進(jìn)行濾波預(yù)處理。目前,圖像濾波方法有很多[8],經(jīng)典算法有均值濾波、中值濾波、Wiener濾波等,它們?cè)谄交肼暤耐瑫r(shí),也模糊了圖像的邊緣,不能很好重現(xiàn)原始圖像中的結(jié)構(gòu)信息。近幾年,針對(duì)圖像濾波中保持重要特征的問(wèn)題,基于非線性方程的濾波方法得到很大發(fā)展,尤其是Perona和Malilik提出的各向異性擴(kuò)散濾波方法[9],其在圖像灰度平坦區(qū)域選擇大尺度平滑,在邊緣部分選擇小尺度平滑,從而實(shí)現(xiàn)了抑制噪聲的同時(shí)較好地保護(hù)圖像邊緣信息的目的,并得到廣泛應(yīng)用。嚴(yán)哲等[10]將地震相干屬性值作為斷層信息保護(hù)因子引入到各向異性擴(kuò)散濾波中,提出了一種基于各向異性擴(kuò)散濾波的地震圖像增強(qiáng)處理方法;陳金林等[11]提出一種結(jié)合各向異性擴(kuò)散和小波域的數(shù)字水印算法,保證水印不可見(jiàn)性的同時(shí),具有較好的魯棒性;付麗娟等[12]將PM算法與中值濾波相結(jié)合,用經(jīng)過(guò)中值濾波平滑后的梯度模值代替原始圖像的梯度模值,在提高信噪比的同時(shí)保留了圖像的細(xì)節(jié)信息,可以更好地滿足醫(yī)學(xué)圖像的使用要求。因此,本文將具有人眼視覺(jué)特性的各向異性擴(kuò)散濾波方法應(yīng)用到人臉表情識(shí)別中,對(duì)受噪聲污染嚴(yán)重的降質(zhì)圖像進(jìn)行濾波預(yù)處理。利用人眼在不同亮度背景下對(duì)亮度差的敏感性不同,結(jié)合梯度值修正擴(kuò)散系數(shù),區(qū)分處理面部斑點(diǎn)噪聲和肌肉皺褶形變所對(duì)應(yīng)的弱邊緣、弱細(xì)節(jié),盡可能保留原始圖像中的表情信息,為后續(xù)HOG表情特征的準(zhǔn)確提取提供方便。
綜上所述,本文從預(yù)處理和特征提取兩個(gè)角度進(jìn)行改進(jìn),提出一種在噪聲環(huán)境下有效識(shí)別人臉表情的方法。首先,設(shè)計(jì)一種具有人眼視覺(jué)特性的各向異性擴(kuò)散濾波方法,利用人眼在不同亮度背景下對(duì)亮度差的敏感性不同修正擴(kuò)散系數(shù),使其在濾除噪聲的同時(shí)更好地保留了表情圖像的弱小細(xì)節(jié)信息;其次,采用HOG算子提取表情特征,并且改進(jìn)梯度算子,設(shè)置合理參數(shù),大大降低了特征向量維數(shù),提高了算法的運(yùn)行效率和識(shí)別率。在JAFFE數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果表明,本文算法是一種有效的,具有一定的噪聲魯棒性的人臉表情識(shí)別算法。
梯度方向直方圖(Histogram of Oriented Gradients,HOG),是一種在計(jì)算機(jī)視覺(jué)和圖像處理中用來(lái)進(jìn)行物體檢測(cè)的特征描述子,它通過(guò)計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖來(lái)構(gòu)成特征。
采用HOG算子提取表情特征的具體步驟如下:
1)計(jì)算圖像每個(gè)像素點(diǎn)的梯度幅值和方向,捕獲表情輪廓信息,弱化光照的干擾。
2)將檢測(cè)窗口劃分成大小相同的單元格(cell)。
3)統(tǒng)計(jì)每個(gè)單元格(cell)的梯度方向直方圖。
4)將相鄰的單元格組合成無(wú)重疊的塊(block),統(tǒng)計(jì)整個(gè)塊的梯度方向直方圖特征,并對(duì)每個(gè)塊內(nèi)的直方圖進(jìn)行歸一化,減少背景顏色和噪聲的影響。
5)最后連接所有塊(block)的梯度方向直方圖,得到表示整個(gè)表情圖像的HOG特征。
在文獻(xiàn)[7]中,筆者將每個(gè) cell大小設(shè)置為8×8(pixels),block大小設(shè)為2×2(cells),在0o~180o內(nèi)分了9個(gè)方向區(qū)間,用一維中心對(duì)稱模板[-1 0 1]來(lái)計(jì)算每個(gè)像素點(diǎn)的梯度幅值和方向,計(jì)算公式如下
因此,對(duì)于一幅大小為128×128的圖像,可劃分為8×8=64個(gè)無(wú)重疊block區(qū)域,得到特征向量維數(shù)等于64×4×9=2 304??紤]到過(guò)高的特征維數(shù)會(huì)對(duì)識(shí)別率以及運(yùn)行時(shí)間產(chǎn)生影響,分析各個(gè)參數(shù)的表征效果,得到最佳參數(shù),即cell大小為16×16(pixels),block大小為4×4(cells),0°~180°仍然分為9個(gè)方向區(qū)間,此時(shí)特征維數(shù)等于4×144=576,特征維度降低了75%,算法運(yùn)行效率得到明顯的提升。
同時(shí),本文采用canny模板代替一維中心對(duì)稱模板,梯度計(jì)算公式如式(3)~式(6)所示,得到梯度幅值圖像如圖2所示??梢钥闯?,canny算子梯度幅值圖像比一維中心對(duì)稱算子梯度幅值圖像面部干擾噪聲小,邊緣清晰,因此其梯度方向直方圖中有效值與干擾值差異度大,特征空間距離分類效果更理想。
圖2 不同梯度算子幅值圖像
平滑濾波是圖像處理中一個(gè)比較重要的環(huán)節(jié),早期一些常見(jiàn)的濾波器,如高斯低通濾波器、維納濾波器等,在平滑噪聲的同時(shí),也模糊了邊緣,丟失了圖像中的重要結(jié)構(gòu)信息。針對(duì)這一不足,眾多學(xué)者提出了大量的圖像濾波算子,其中最著名的是Perona和Malik[9]提出的采用方向性分布系數(shù)代替高斯卷積的各向異性擴(kuò)散濾波方法。
各向異性擴(kuò)散方程(P-M方程)實(shí)質(zhì)上是偏微分方程形式的熱傳導(dǎo)方程,其表達(dá)式如下
式中:f(x,y,t)為輸入圖像f(x,y)經(jīng)過(guò)t次迭代后的結(jié)果;div(·)是散度算子;c(·)為擴(kuò)散系數(shù),Perona和Malik提出如下兩種形式的擴(kuò)散系數(shù)方程
式中:Δf()是梯度算子;‖Δ f(x,y,t)‖表示 f(x,y,t)的梯度模值;K為梯度閾值。從上面兩個(gè)方程可以看出,擴(kuò)散系數(shù)c(·)是一個(gè)以梯度模值為變量的單調(diào)遞減函數(shù),在梯度值越大的區(qū)域,擴(kuò)散系數(shù)越小,有利于保護(hù)圖像的邊緣信息;在梯度值越小的地方,擴(kuò)散系數(shù)越大,有利于平滑圖像中的噪聲。
Δ
從式(8)~式(9)可以看出,擴(kuò)散系數(shù)僅對(duì)梯度模值‖f(x,y,t)‖比較敏感,因此在人臉表情識(shí)別應(yīng)用中,考慮表情變化會(huì)引起下巴、額頭、鼻梁等非顯性區(qū)域的肌肉紋理變化,這些變化產(chǎn)生的弱邊緣、弱細(xì)節(jié)也是表情識(shí)別的關(guān)鍵因素。但它們的梯度模值較小,擴(kuò)散系數(shù)較大,傳統(tǒng)P-M方程對(duì)其有平滑作用,導(dǎo)致細(xì)節(jié)丟失,表情信息不完整。
鑒于此,本文提出了基于人眼視覺(jué)信息處理機(jī)制的各向異性擴(kuò)散濾波方法,利于人眼在不同亮度背景下對(duì)目標(biāo)的敏感性不同,修正擴(kuò)散系數(shù),使其能正確區(qū)分噪聲和弱小細(xì)節(jié)信息。
3.2.1 人眼視覺(jué)信息處理機(jī)制
研究表明,人眼對(duì)物體的識(shí)別能力與物體亮度和背景亮度有關(guān)。假設(shè)某一物體所處的背景平均亮度為I,物體本身亮度可看作為I+ΔI,只有當(dāng)亮度差ΔI大于某個(gè)閾值時(shí),人眼才能從背景中將目標(biāo)分辨出來(lái),此時(shí)的ΔI稱為剛可分辨亮度差,ΔI與 I之間成一種非線性關(guān)系,稱為閾值亮度比(TVI)。人眼視網(wǎng)膜上有視桿體和視錐體兩種視覺(jué)細(xì)胞,其中視桿體在暗光環(huán)境下特別敏感,視錐體在亮光環(huán)境下比較敏感。圖3為視桿體和視錐體的閾值亮度比函數(shù)曲線[13]。從圖中可以看出,當(dāng)背景很亮或者很暗時(shí),ΔI需要較大值才能使物體可見(jiàn)。
圖3 TVI函數(shù)曲線
3.2.2 具有人眼視覺(jué)特性的各向異性擴(kuò)散濾波
文中利用人眼在不同的亮度背景下對(duì)亮度差的敏感性不同修正擴(kuò)散系數(shù),提出新的擴(kuò)散系數(shù)方程如下
式中:‖Δ f(x,y,t)‖為梯度模值;ΔI(x,y,t)為剛可分辨亮度差;α為可調(diào)系數(shù);K為梯度閾值。其中ΔI(x,y,t)的具體求解步驟如下:
1)以像素點(diǎn)(x,y)為中心,求其3×3鄰域的均值fm(x,y,t)。
2)比較 f(x,y,t)和 fm(x,y,t)大小。若 f(x,y,t)> fm(x,y,t),則取3 ×3鄰域內(nèi)所有灰度值小于 fm(x,y,t)的像素均值作為(x,y)處的背景值 Im(x,y,t);反之,則取所有灰度值大于 fm(x,y,t)的像素均值作為(x,y)處的背景值 Im(x,y,t)。
3)計(jì)算圖像的亮度差
由此可見(jiàn),利用改進(jìn)擴(kuò)散方程可以有效區(qū)分邊緣、背景、弱小細(xì)節(jié)和噪聲。在邊緣變化明顯的目標(biāo)區(qū)域,例如眼睛、嘴巴、眉毛等顯性特征區(qū)域,梯度模值 Δf(x,y,t)較大,亮度差ΔI(x,y,t)也較大,因此擴(kuò)散系數(shù)小,平滑作用顯著降低,有利于保護(hù)邊緣信息;而在平坦背景區(qū)域,梯度模值較小,亮度變化也不大,因此平滑作用明顯,能夠有效濾除噪聲;并且,對(duì)于弱小細(xì)節(jié)區(qū)域,例如下巴、額頭、鼻梁等非顯性區(qū)域,雖然其梯度值較小,但亮度差較大,可對(duì)擴(kuò)散系數(shù)進(jìn)行修正,適當(dāng)減弱平滑作用,實(shí)現(xiàn)了在濾除噪聲同時(shí),也保留圖像中的弱小結(jié)構(gòu)信息的目的,有利于后續(xù)表情圖像的特征提取。
圖4是采用傳統(tǒng)各向異性擴(kuò)散方法和文中改進(jìn)方法對(duì)表情圖像進(jìn)行濾波的效果對(duì)比圖。從圖中可以看出,相比原始人臉表情圖像(見(jiàn)圖4a),傳統(tǒng)各向異性擴(kuò)散方法(見(jiàn)圖4b)和文中改進(jìn)方法(見(jiàn)圖4c)均能有效濾除噪聲,但對(duì)于弱小細(xì)節(jié)區(qū)域,傳統(tǒng)各向異性擴(kuò)散方法處理效果不理想。例如在原始人臉表情圖像的下巴區(qū)域(見(jiàn)圖4d),有明顯的肌肉紋理變化且包含噪聲,傳統(tǒng)各向異性擴(kuò)散方法雖然去除了噪聲但也弱化了邊緣(見(jiàn)圖4e),而本文方法在有效濾除噪聲同時(shí),也較好的保護(hù)了細(xì)節(jié)信息,為準(zhǔn)確提取表情特征提供方便(見(jiàn)圖4f)。
圖4 傳統(tǒng)各向異性擴(kuò)散濾波與人眼視覺(jué)下的各向異性擴(kuò)散濾波效果圖
文中算法是在MATLAB環(huán)境下,對(duì)JAFFE數(shù)據(jù)庫(kù)進(jìn)行實(shí)驗(yàn)仿真。JAFFE數(shù)據(jù)庫(kù)是日本ATR媒體信息科學(xué)實(shí)驗(yàn)室的Lyons博士提供的,包括10位日本女性在憤怒、厭惡、恐懼、高興、悲傷、驚訝6種情況下自發(fā)產(chǎn)生的表情圖像,共213幅圖像,圖像大小為256×256,文中選取其中每人每種表情3幅圖像,共180幅圖像進(jìn)行實(shí)驗(yàn)仿真。該數(shù)據(jù)庫(kù)完全開(kāi)放,且表情標(biāo)定標(biāo)準(zhǔn),現(xiàn)為多數(shù)研究人員仿真使用。
在進(jìn)行實(shí)驗(yàn)仿真前,文中對(duì)數(shù)據(jù)庫(kù)中的圖像進(jìn)行表情區(qū)域劃分和歸一化預(yù)處理,將所有圖像尺寸歸一化為128×128。JAFFE數(shù)據(jù)庫(kù)的部分歸一化預(yù)處理樣本表情圖像如圖5所示。
圖5 JAFFE數(shù)據(jù)庫(kù)的部分樣本表情圖像
本文采用文獻(xiàn)[14]中Leave-One-Sample-Out和Leave-One-Subject-Out兩種樣本選擇方式進(jìn)行仿真實(shí)驗(yàn)。Leave-One-Sample-Out(L-O-Sap-O)是一種熟悉人臉樣本選擇方式,選取1幅圖像作為測(cè)試樣本,剩余N-1幅圖像作為訓(xùn)練樣本,交叉驗(yàn)證N次,其中N為表情數(shù)據(jù)庫(kù)中所有樣本的數(shù)量。采用這種樣本選擇方式可以最大程度選擇所有數(shù)據(jù)作為測(cè)試樣本,以確保每幅圖像的表情特征都被考慮到,實(shí)驗(yàn)結(jié)果更具有真實(shí)性。Leave-One-Subject-out(L-O-Sub-O)是一種不熟悉人臉樣本選擇方式,選取同一個(gè)人的所有表情作為測(cè)試樣本,剩余人的所有表情圖像作為訓(xùn)練樣本,交叉驗(yàn)證M次,其中M為表情數(shù)據(jù)庫(kù)中人的個(gè)數(shù)。這種樣本選擇方式可以用來(lái)評(píng)價(jià)分析人臉識(shí)別時(shí)不同表情變化對(duì)識(shí)別系統(tǒng)的影響。
本文采用中心最近鄰分類器進(jìn)行表情識(shí)別,具體步驟參考文獻(xiàn)[15],文中不再詳述。實(shí)驗(yàn)仿真包含以下3個(gè)方面內(nèi)容:1)改進(jìn)HOG算子的有效性驗(yàn)證;2)基于人眼視覺(jué)信息處理機(jī)制的各向異性擴(kuò)散濾波有效性驗(yàn)證;3)本文算法對(duì)噪聲的魯棒性分析。
首先,與原始HOG算子[7]比較。設(shè)置原始HOG算子的cell大小為8×8(pixels),block大小為 2×2(cells),將 0°~180°劃分9個(gè)方向區(qū)間,用一維中心對(duì)稱模板[-1 0 1]來(lái)計(jì)算每個(gè)像素點(diǎn)的梯度幅值和方向;設(shè)置改進(jìn)HOG算子的cell大小為16×16(pixels),block大小為 4×4(cells),0°~180°仍然分為9個(gè)方向區(qū)間,采用canny模板代替一維中心對(duì)稱模板計(jì)算每個(gè)像素點(diǎn)的梯度幅值和方向。在JAFFE數(shù)據(jù)庫(kù)上的仿真結(jié)果如表1所示。
表1 JAFFE數(shù)據(jù)庫(kù)的原始HOG算子與改進(jìn)HOG算子識(shí)別效果比較
從表1可以看出,改進(jìn)的HOG算子相比原始HOG算子在兩種分類模式下,其識(shí)別率均有明顯提高,L-O-Sub-O模式提高了5.56%,L-O-Sap-O模式提高了5.55%;從算法的運(yùn)行時(shí)間看,改進(jìn)HOG算法的特征提取時(shí)間和分類時(shí)間均遠(yuǎn)遠(yuǎn)小于原始HOG算法的運(yùn)行時(shí)間。這是由于改進(jìn)的HOG算法中,將每個(gè)cell的尺寸擴(kuò)大了4倍,得到的特征向量長(zhǎng)度會(huì)相應(yīng)降低75%,更有利于特征提取和分類。由此可見(jiàn),相比于原始HOG算子,改進(jìn)的HOG算子大大降低了特征維數(shù),減小了冗余信息的干擾,減少了算法運(yùn)行時(shí)間,提高了分類準(zhǔn)確性,具有較好的實(shí)時(shí)性。
其次,與 LBP 算子[5]、Gabor小波變換[4]比較。這里采用LBP(8,1)算子分別對(duì)表情圖中8×8=64個(gè)子塊區(qū)域進(jìn)行特征提取,采用文獻(xiàn)[4]中的方法對(duì)Gabor小波變換結(jié)果降維,得到Gabor特征。以JAFFE數(shù)據(jù)庫(kù)為例,采用L-O-Sap-O分類模式進(jìn)行實(shí)驗(yàn)仿真,各表情詳細(xì)識(shí)別結(jié)果如表2所示。
表2 改進(jìn)HOG算子與LBP算子、Gabor小波變換的識(shí)別效果比較 %
從表2可以看出,在JAFFE數(shù)據(jù)庫(kù)下,改進(jìn)HOG算子相比LBP算子和Gabor小波變換,識(shí)別率有近13%的提高。由此可見(jiàn),文中改進(jìn)的HOG算子是一種有效的形狀描述子,能更準(zhǔn)確地描述人臉表情特征。
在JAFFE數(shù)據(jù)庫(kù)中進(jìn)行實(shí)驗(yàn)仿真,首先采用原始各向異性擴(kuò)散濾波和改進(jìn)各向異性擴(kuò)散濾波進(jìn)行去噪預(yù)處理,再利用改進(jìn)HOG算子提取表情特征,分類結(jié)果如表3所示。兩種濾波器的參數(shù)設(shè)置如下:原始各向異性擴(kuò)散濾波的迭代次數(shù)為9次,梯度閾值K=5;改進(jìn)各向異性擴(kuò)散濾波的迭代次數(shù)為3次,梯度閾值K=10,常數(shù)系數(shù)α=0.8。
表3 JAFFE數(shù)據(jù)庫(kù)中原始各向異性擴(kuò)散濾波與改進(jìn)各向異性擴(kuò)散濾波的識(shí)別率比較 %
從表中可以看出,因改進(jìn)各向異性擴(kuò)散濾波比原始各向異性擴(kuò)散濾波更能有效區(qū)分噪聲和細(xì)節(jié),使得表情信息盡可能完整,在此基礎(chǔ)上利用改進(jìn)HOG算子提取表情特征和分類,兩種分類模式的識(shí)別率均有提高。由此可見(jiàn),文中提出的具有人眼視覺(jué)特性的各向異性擴(kuò)散濾波與改進(jìn)HOG算子的組合是一種有效的表情識(shí)別算法。
為進(jìn)一步研究本文算法對(duì)噪聲的魯棒性,對(duì)JAFFE數(shù)據(jù)庫(kù)中的人臉表情圖像分別加入方差為0.01的高斯白噪聲和噪聲密度為0.05的椒鹽噪聲,分別采用原始各向異性擴(kuò)散濾波和改進(jìn)的各向異性擴(kuò)散濾波方法進(jìn)行去噪預(yù)處理,用文中改進(jìn)HOG算法進(jìn)行表情特征提取和分類,實(shí)驗(yàn)結(jié)果如表4所示。
從表4可以看出,因受高斯白噪聲和椒鹽噪聲的影響,圖像質(zhì)量變差,改進(jìn)HOG算子的識(shí)別率急劇下降,尤其是在L-O-Sap-O分類模式下,識(shí)別率下降近23%,這表明HOG算子對(duì)噪聲的魯棒性較差。若在特征提取之前,先采用原始各向異性擴(kuò)散濾波或文中提出的改進(jìn)各向異性擴(kuò)散濾波對(duì)加入噪聲的圖像進(jìn)行濾波預(yù)處理,識(shí)別率均有明顯提高。由此可見(jiàn),當(dāng)圖像質(zhì)量較差時(shí),預(yù)處理工作將顯得尤為重要,并且從識(shí)別率上可以看出,改進(jìn)的各向異性擴(kuò)散濾波比原始各向異性擴(kuò)散濾波去噪效果更佳。
表4 不同噪聲下原始各項(xiàng)異性擴(kuò)散濾波與改進(jìn)的各向異性擴(kuò)散濾波識(shí)別率比較 %
本文針對(duì)人臉表情識(shí)別中預(yù)處理和特征提取兩個(gè)步驟進(jìn)行改進(jìn),提出一種有效的、具有一定噪聲魯棒性的人臉表情識(shí)別算法。
首先,提出一種基于人眼視覺(jué)信息處理機(jī)制的各向異性擴(kuò)散濾波方法,該方法利用人眼在不同的亮度背景下對(duì)亮度差的敏感性不同修正擴(kuò)散系數(shù)。與原始各向異性擴(kuò)散濾波方法相比,該算法在有效去除噪聲的同時(shí),能更好地保留圖像的邊緣信息和紋理細(xì)節(jié)信息,保證了表情信息的完整性。
其次,采用能夠很好地表征圖像邊緣信息的HOG算子提取人臉表情特征,并修改梯度算子,合理設(shè)置參數(shù),大大降低特征維數(shù),有效消除冗余信息的干擾,提高識(shí)別效率,具有實(shí)時(shí)性。
在JAFFE數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)仿真結(jié)果表明,與傳統(tǒng)的LBP算子和Gabor算子相比,文中改進(jìn)的HOG算子是一種有效的形狀描述子,能更準(zhǔn)確地描述人臉表情特征。且對(duì)于加入了高斯白噪聲和椒鹽噪聲的表情圖像,相比于原始各向異性擴(kuò)散濾波方法,文中提出的具有人眼視覺(jué)特性的各向異性擴(kuò)散濾波有更好的濾波效果,抗噪聲性能更強(qiáng)。因此,對(duì)于降質(zhì)圖像,本文提出算法可以有效區(qū)分噪聲和表情信息,且準(zhǔn)確提取特征,是一種有效的人臉表情識(shí)別算法。
[1] SONG K T,CHIEN SC.Facial expression recognition based on mixture of basic expressions and intensities[C]//Proc.2012 IEEE International Conference on Systems,Man,and Cybernetics.[S.l.]:IEEE Press,2012:3123-3128.
[2] ZHAOLihong,YANGCaikun,PAN Feng,et al.Face recognition based on gabor with 2DPCA and PCA[C]//Proc.2012 24th Chines Control and Decision Conference.[S.l.]:IEEE Press,2012:2632-2635.
[3] BECKMANN C F,SMITH S M.Probabilistic independent component analysis for functional magnetic resonance imaging[J].IEEE Trans.Med.Imaging,2004(23):137-152
[4]阮錦新.多姿態(tài)人臉檢測(cè)與表情識(shí)別關(guān)鍵技術(shù)研究[D].廣州:華南理工大學(xué),2010:64-83
[5] OJALA T,PIETIKAINENM,HARWOODD.A comparative study of texture measures with classification based on feature distributions[J].Pattern Recognition,1996,29(1):51-59
[6] GENG Cong,JIANG Xudong.Face recognition using SIFT features[C]//Proc.2009 16th IEEE International Conference on Image Processing.[S.l.]:IEEE Press,2009:3313-3316.
[7] DALA N,TRIGGS B.Histograms of oriented gradients for human detection[C]//Proc.IEEE Computer Society Conferenceon Computer Vision and Pattern Recognition(CVPR'05).San Diego,CA,USA:IEEE Press,2005:886-893.
[8]李麗萍.圖像去噪方法研究[D].武漢:長(zhǎng)江大學(xué),2012.
[9] PERONA P,MALIK J.Scale space and edge detection using anisotropic diffusion[J].IEEE Trans.Pattern Analysis and Machine Intelligence,1990,12(7):629-639.
[10]嚴(yán)哲,顧漢明,蔡成國(guó).基于各向異性擴(kuò)散濾波的地震圖像增強(qiáng)處理[J].石油地球物理學(xué)報(bào),2013,48(3):390-394.
[11]陳金林,劉謝進(jìn).基于異性擴(kuò)撒方法的數(shù)字圖像水印研究[J].計(jì)算機(jī)應(yīng)用與軟件,2013,30(7):151-153.
[12]付麗娟,姚宇,付忠良.中值濾波與各向異性擴(kuò)散相結(jié)合的醫(yī)學(xué)圖像濾波方法[J].計(jì)算機(jī)應(yīng)用,2014,34(1):145-148.
[13] FERWERDA J A.Element of early vision for computer graphics[J].IEEE Computer Graphics and Applications,2001,21(5):22-33.
[14] MARIOSK,ANASTASIOST,IOANNISP.Salient feature and reliable classifier selection for facial expression classification[J].Pattern Recognition,2010(43):972-986.
[15]付曉峰.基于二元模式的人臉識(shí)別與表情識(shí)別研究[D].杭州:浙江大學(xué),2008.
[16] DENIZ O,BUENO G,SALIDO J,et al.Face recognition using histograms of oriented gradients[J].Pattern Recognition Letters,2011(32):1598-1603.
[17] SONG Fengyi,TAN Xiaoyang,LIU Xue,et al.Eyes closeness detection from still images with multi-scale histograms of principal ori ented gradients[J].Pattern Recognition,2014,47(9):2825-2838.