表情分析中嘴形的計(jì)算機(jī)識(shí)別方法研究

陸 玉，張 華

(阜陽職業(yè)技術(shù)學(xué)院，安徽 阜陽 236031)

大量實(shí)踐研究證明，人的心理狀態(tài)以及情緒往往可以通過臉部表情展現(xiàn)出來[1]。尤其在自然狀態(tài)下，人的臉部表情往往高度真實(shí)地反應(yīng)了人的內(nèi)心世界，表情分析具備非常突出的心理研究?jī)r(jià)值。同時(shí)，從情緒測(cè)量的角度上來看，以臉部表情分析為工具評(píng)價(jià)人的情緒狀態(tài)具有非接觸性測(cè)量的特點(diǎn)，對(duì)于被測(cè)試對(duì)象而言，心理壓力較小，往往能夠獲得更為精確的測(cè)定結(jié)果。在臉部表情分析中，又以嘴形分析所得到的結(jié)果最為直接與精準(zhǔn)，權(quán)重最大且變化量最大，但由于其形態(tài)多樣、復(fù)雜，邊界不明確，因而在計(jì)算機(jī)識(shí)別中存在一定的難度[2]?；诖耍瑪M針對(duì)一種嘴形計(jì)算機(jī)識(shí)別方法進(jìn)行探討。

1 嘴形模型

圖1 六曲線嘴部形態(tài)模型效果圖

對(duì)所提取臉部圖像進(jìn)行定位、正則旋轉(zhuǎn)、以及規(guī)格化縮放等基礎(chǔ)處理后，確定臉部各個(gè)部件所對(duì)應(yīng)區(qū)域，然后給出六曲線嘴部形態(tài)模型，效果圖如圖1所示。結(jié)合圖1，定義規(guī)則如下：LA為上唇外線，LB為上唇內(nèi)線，LC為下唇內(nèi)線，LD為下唇外線，LE為左側(cè)嘴角線，LF為右側(cè)嘴角線。在此基礎(chǔ)之上以LA與LD、LA與LF、LA與LE為基準(zhǔn)建立各條曲線所對(duì)應(yīng)的預(yù)定義坐標(biāo)系，并對(duì)LB、LC、LD、LE、以及LF曲線進(jìn)行多項(xiàng)式擬合處理。

2 計(jì)算機(jī)識(shí)別

2.1 均衡亮度

將嘴部區(qū)域圖像紅層、綠層、藍(lán)層圖像矩陣分別定義為R、G、B，矩陣當(dāng)中分別含有r、g、b元素，同時(shí)有rm=max{R}，則可以對(duì)各層矩陣進(jìn)行強(qiáng)度變化處理，生成與之相對(duì)應(yīng)的R′、G′、B′矩陣，該矩陣中所對(duì)應(yīng)的元素分別表示如下式(1)～(3)所示：

r′(i,j)=rm

(1)

g′(r,j)=rm*g(i,j)/r(i,j)

(2)

b′(r,j)=rm*b(i,j)/r(i,j)

(3)

均衡亮度算法基于最大R值對(duì)矩陣強(qiáng)度進(jìn)行調(diào)整，操作簡(jiǎn)單快捷，經(jīng)算法處理后能夠使圖像左右兩側(cè)強(qiáng)度達(dá)到基本均衡的狀態(tài)。

2.2 二值化

在對(duì)嘴唇部位像素進(jìn)行處理的過程中，B值多數(shù)情況下高于G值，這一特征與HSV色彩表達(dá)方式是相互契合的。因此，在針對(duì)彩色圖像進(jìn)行灰度處理以及二值化加工的過程當(dāng)中，可以嘗試融合HSV表述方法[3]。將灰度圖像定義為Y，閾值為t，經(jīng)加工處理后二值化圖像定義為BW，臨時(shí)灰度圖像分別表述為y1，y2，嘴唇部位圖像寬度定義為W，圖像高度定義為H，則可得到有關(guān)臨時(shí)灰度圖像的關(guān)系式，如下式(4)～(6)所示：

y1(i,j)=2g′(i,j)-b′(i,g)

(4)

(5)

(6)

在此基礎(chǔ)之上，以方差為目標(biāo)，通過圖像增強(qiáng)以及類間方差最大分割處理的方式，以閾值t為基礎(chǔ)，對(duì)所上每一步步驟中所生成灰度圖像進(jìn)行二值化處理，定義bw(i，j)可以用下式(7)進(jìn)行表示：

bw(i,j)={1 (y(i,j)≥t)

0 (y(i,j)

(7)

2.3 唇部外形輪廓初定

對(duì)前一步驟中經(jīng)過二值化處理的灰度圖像進(jìn)行八方向連通性檢測(cè)，將最大聯(lián)通區(qū)域邊緣設(shè)置為唇形外輪廓初定值。在此過程中，將八方向聯(lián)通區(qū)域像素集合設(shè)定為Si，有Si(i=1,2，…，n)，同時(shí)聯(lián)通集合中元素個(gè)數(shù)被定義為Ni，有Ni(i=1,2，…，n)，同時(shí)假設(shè)Nj>Ni，同時(shí)滿足(i=1,2，…，n，i≠j)。在此基礎(chǔ)之上可以賦予上唇外線以及下唇外線初值，此過程可以用下式(8)～(9)描述：

1ai=INF(1,2,…,W)

(8)

1di=-INF(1,2,…,W)

(9)

2.4 上唇外線精細(xì)化

在初步設(shè)定唇部外形輪廓后，可以將膚色值設(shè)定為新閾值，并對(duì)灰度圖像進(jìn)行再次二值化處理，以達(dá)到精細(xì)化上唇外線輪廓的目的。將新閾值設(shè)定為t′(t′=(ts+tl)/2)，上唇膚色均值用ts描述，唇色均值用tl描述，則可以按照下式(10)～(11)進(jìn)行處理：

(10)

(11)

上唇外線適用于本方法進(jìn)行精細(xì)化處理。但對(duì)于下唇外線，考慮到嘴唇下方陰影區(qū)域面積較大，陰影部分灰階與嘴唇灰階相接近，因此不適用于本方法，還需通過其他措施進(jìn)行精細(xì)化處理。

2.5 牙齒包絡(luò)處理

在嘴部輪廓處理以及特征提取的過程當(dāng)中，若存在牙齒組織，則提取難度是比較低的[4]。通?？梢詫?duì)圖像進(jìn)行求反處理，將直方圖第一峰值作為閾值，對(duì)灰度圖像進(jìn)行二值化處理，然后通過檢查八方向連通性關(guān)系的方式，生成與該連通區(qū)域所對(duì)應(yīng)的像素集合，并將其定義為Si，有Si(i=1,2，...，n)，同時(shí)聯(lián)通集合中元素個(gè)數(shù)被定義為Ni，有Ni(i=1,2，...，n)。在求牙齒像素集合的過程當(dāng)中，分析是否存在某個(gè)特定區(qū)域(將該區(qū)域假定為Sk)滿足Ni≥W*H/200，同時(shí)在區(qū)域Sk當(dāng)中存在四個(gè)點(diǎn)位，分別將其定義為(x1，y1)、(x2，y2)、(x3、y3)、(x4、y4)，在確認(rèn)符合如下式(12)所示關(guān)系的情況下，可將該區(qū)域Sk定義為牙齒像素集合區(qū)域，即完成對(duì)牙齒包絡(luò)的處理[5]。在此環(huán)節(jié)中需要特別注意的一點(diǎn)是，在嘴部輪廓處理過程當(dāng)中，牙齒上、下包絡(luò)線不一定呈連續(xù)性狀態(tài)，且不一定為嘴唇內(nèi)線，可能因含牙齦區(qū)域而對(duì)輪廓提取效果產(chǎn)生一定影響。

x1≤ii,x2≥ii,y3≤ji,y4≤ji(?(ii,ji)∈Sk)

(12)

2.6 嘴唇內(nèi)輪廓線確定

(13)

2.7 下唇外線精細(xì)化處理

考慮到嘴唇下部陰影區(qū)域較大的特殊情況，若按照上唇外線精化方法直接對(duì)膚色閾值進(jìn)行設(shè)定預(yù)處理，容易將下方陰影區(qū)域一并納入下唇分析范疇中，因此需要對(duì)精細(xì)化處理方法進(jìn)行改進(jìn)。在對(duì)下唇內(nèi)輪廓線進(jìn)行提取的基礎(chǔ)之上，假定下唇內(nèi)線與下唇外線間存在一條豎直狀態(tài)剖線且過點(diǎn)xb，并且對(duì)該豎直線做ε個(gè)像素的延長(zhǎng)處理，同時(shí)假定對(duì)于該豎直線而言，含像素點(diǎn)n個(gè)，則按照灰度處理的原則，可以將其序列集描述為{pmi}，同時(shí)有i=1，2，…，n。在此基礎(chǔ)之上對(duì)該垂直剖線進(jìn)行平滑處理，將垂直剖線最后一個(gè)強(qiáng)度低谷后的最大梯度位置設(shè)定為下唇內(nèi)輪廓線點(diǎn)。

2.8 嘴角線

在此基礎(chǔ)之上，分別對(duì)上唇內(nèi)線、下唇內(nèi)線以及下唇外線進(jìn)行多項(xiàng)式曲線擬合處理，將下唇內(nèi)線與下唇外線相交位置外側(cè)唇線設(shè)置為左右兩側(cè)嘴角線，同時(shí)以交點(diǎn)中間部分為下唇寬度。考慮到嘴角線對(duì)圖像提取結(jié)果的影響，第一次曲線擬合處理所生成下唇寬度可能存在一定誤差，因此可以通過反復(fù)多次操作的方式將寬度內(nèi)部值作為最終生成結(jié)果，確保最終結(jié)果逼近穩(wěn)定狀態(tài)，最終識(shí)別結(jié)果如下圖(見圖2)所示。

圖2 嘴角線識(shí)別結(jié)果示意圖

3 結(jié)語

本文上述分析中嘗試提出了一種基于六曲線嘴唇形態(tài)模型的計(jì)算機(jī)識(shí)別方法，分別從均衡亮度、二值化、唇部外形輪廓初定、上唇外線精細(xì)化、牙齒包絡(luò)處理、嘴唇內(nèi)輪廓線確定、下唇外線精細(xì)化處理、以及嘴角線處理等這幾個(gè)方向入手，對(duì)表情分析中嘴形的計(jì)算機(jī)識(shí)別方法及其操作步驟進(jìn)行逐一分析與研究，所構(gòu)建模型、各曲線提取方法對(duì)不同嘴形可表現(xiàn)出良好的魯棒性，唇形曲線識(shí)別結(jié)果基本與人工視覺理解結(jié)果一致，多項(xiàng)式曲線將單純的嘴形圖像轉(zhuǎn)變?yōu)槎囗?xiàng)式系數(shù)值以及曲線長(zhǎng)度值，實(shí)現(xiàn)了對(duì)特征的提取與量化。同時(shí)，通過上述處理所提取特征參數(shù)不但能夠準(zhǔn)確反映嘴形開閉程度，嘴角趨向，還能夠從上下唇空間比，高寬比等多個(gè)方面入手準(zhǔn)確描述嘴形狀態(tài)，為表情分析提供可靠且全面的數(shù)據(jù)支持，值得引起業(yè)內(nèi)人士的關(guān)注與重視。