室外環(huán)境下紅外熱圖像內(nèi)眼角定位

孫 磊，陳樹越，戚亞明

室外環(huán)境下紅外熱圖像內(nèi)眼角定位

孫 磊，陳樹越，戚亞明

（常州大學(xué) 微電子與控制工程學(xué)院，江蘇 常州 213164）

針對(duì)室外環(huán)境下紅外熱圖像中目標(biāo)區(qū)域受背景過(guò)熱與周圍環(huán)境影響，導(dǎo)致目標(biāo)邊界模糊、噪聲大等問(wèn)題，提出了一種室外環(huán)境下紅外熱圖像內(nèi)眼角定位算法。該算法首先對(duì)采集的圖像進(jìn)行面部?jī)A斜校正，接著采用Gentle-AdaBoost與HAAR特征相結(jié)合進(jìn)行人臉、人眼粗定位，并引入幾何校正對(duì)眼睛區(qū)域精確定位，最終依據(jù)內(nèi)眼角區(qū)域特性提出區(qū)域精化與區(qū)域生長(zhǎng)分割相結(jié)合的內(nèi)眼角定位。在3種不同的紅外熱圖像數(shù)據(jù)集以及自主采集不同季節(jié)的溫度區(qū)間室外的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。結(jié)果表明：在室外環(huán)境下，所提出的方法可有效地定位內(nèi)眼角，人眼定位準(zhǔn)確率達(dá)到98.1%，內(nèi)眼角定位準(zhǔn)確率達(dá)到97.7%。

室外環(huán)境；紅外熱圖像；內(nèi)眼角定位；特征提取；區(qū)域精化

0 引言

伴隨COVID-19全面爆發(fā)，預(yù)防病毒的傳播成各個(gè)國(guó)家關(guān)鍵問(wèn)題。在此期間社會(huì)需要重新組織社交環(huán)境，以應(yīng)對(duì)病毒的傳播。由于病毒引起患者常見(jiàn)的癥狀是發(fā)熱，各個(gè)國(guó)家規(guī)定在進(jìn)入人口流動(dòng)性大的場(chǎng)所以及公共建筑區(qū)域前都需要體溫檢測(cè)[1]。因此非接觸、快速測(cè)溫的紅外熱成像儀被廣泛使用于這些區(qū)域[2]，紅外熱成像體溫篩查成為預(yù)防病毒傳播的有效方式之一[3]。病毒傳播得到控制后，各個(gè)國(guó)家就要面臨組織學(xué)生返校，工人復(fù)工等問(wèn)題[4]。預(yù)防這些區(qū)域的病毒傳播同樣需要紅外熱像儀的篩查，一般校園或者工廠門口都是臨時(shí)搭建的待檢通道，處于室外環(huán)境中，室外環(huán)境下熱成像中的背景溫度過(guò)熱會(huì)導(dǎo)致前景目標(biāo)特征區(qū)域邊界模糊，同時(shí)熱圖像受噪聲干擾大，極大地降低了目標(biāo)區(qū)域檢測(cè)的準(zhǔn)確率，繼而影響發(fā)熱篩查的效果?，F(xiàn)階段的研究大多關(guān)注室內(nèi)場(chǎng)所下內(nèi)眼角定位，針對(duì)室外環(huán)境下內(nèi)眼角定位的文獻(xiàn)相對(duì)較少。

內(nèi)眼角作為面部最溫暖的區(qū)域[5]，在測(cè)量人體發(fā)熱篩查中起至關(guān)重要的作用，同時(shí)是發(fā)熱篩查的最佳位置[6]。盡管目前對(duì)于測(cè)量?jī)?nèi)眼角溫度能否代表人體溫度還存在爭(zhēng)議，但是這是一個(gè)非?？煽康膮^(qū)域[7]，能夠以非接觸、快速的方式進(jìn)行體溫的識(shí)別與篩查。在病毒傳播期間，能更好地替代傳統(tǒng)的額頭或者腋下測(cè)溫來(lái)進(jìn)行巨大人流量的體溫篩查工作。

2002年Friedrich等人[8]首次將眼角作為研究對(duì)象，通過(guò)紅外熱圖像獨(dú)有熱特征用于識(shí)別，指出眼睛區(qū)域一些特征，比如：眼睛是面部最溫暖的區(qū)域；眉毛是臉部最寒冷的區(qū)域，最后使用傳統(tǒng)的直方圖進(jìn)行眼角特征檢測(cè)。Budzan等人[9]對(duì)內(nèi)眼角定位做了全面的研究，提出基于隨機(jī)化霍夫變換（RHT,Randomize the Hough Transform）人臉和眼睛的定位算法，使用形態(tài)學(xué)操作對(duì)內(nèi)眼角區(qū)域進(jìn)行分割。Amanda[10]提出基于知識(shí)的方法定位內(nèi)眼角，根據(jù)熱圖像中眼睛之間的距離與頭寬的比值，內(nèi)眼角在眼部區(qū)域位置之間的距離，并將具有特定距離的兩個(gè)高溫點(diǎn)作為內(nèi)眼角。Chenna等人[11]研究了多模態(tài)圖像配準(zhǔn)的方法來(lái)定位內(nèi)眼角，將可見(jiàn)光圖像與熱圖像檢測(cè)到的邊緣結(jié)合起來(lái)，一旦獲得配準(zhǔn)圖像，熱圖像中內(nèi)眼角位置可以通過(guò)可見(jiàn)光圖像中位置來(lái)定位。盡管上述方法的定位效果都存在一定的優(yōu)勢(shì)，但是室外環(huán)境下圖像噪聲更大，邊緣的紋理也更加模糊，內(nèi)眼角區(qū)域特征更加難以捕捉。

隨著Viola等人[12]在面部檢測(cè)方面引入了哈爾特征（Haar-Like Features），簡(jiǎn)稱HAAR。Martinez等人[13]研究熱圖像中人臉各部區(qū)域檢測(cè)，分析了HAAR特征結(jié)合Gentle-AdaBoost分類器比結(jié)合支持向量機(jī)（Support Vector Machines，SVM）分類器的優(yōu)勢(shì)更大，也有效地驗(yàn)證了HAAR特征在人眼檢測(cè)方面的可行性。Wong等人[14]基于前人研究的經(jīng)驗(yàn)將HAAR特征用于眼睛定位，一旦定位到眼睛，再針對(duì)眼睛的軸四分之一區(qū)域進(jìn)行眼角搜索，測(cè)量眼角的溫度有效地用于發(fā)熱篩查。

相對(duì)于上述方法，本文算法針對(duì)室外環(huán)境下紅外熱圖像內(nèi)眼角的定位，考慮到外界環(huán)境下目標(biāo)邊界模糊、噪聲大等特點(diǎn)，在利用Gentle-AdaBoost與Haar特征相結(jié)合的人臉、人眼粗定位基礎(chǔ)上，引入幾何校正方法對(duì)眼睛區(qū)域精確定位。同時(shí)外界環(huán)境下內(nèi)眼角區(qū)域?qū)儆谌跣∧繕?biāo)，無(wú)明顯紋理特征，提出了區(qū)域精化與區(qū)域生長(zhǎng)分割相結(jié)合來(lái)定位算法。實(shí)驗(yàn)有效證明了在復(fù)雜場(chǎng)景下紅外熱圖像內(nèi)眼角的定位的可行性，同時(shí)解決了室外環(huán)境下目標(biāo)邊界模糊、噪聲大，小目標(biāo)定位等復(fù)雜性問(wèn)題。

1 面部特征提取與定位

1.1 整體定位框架

本文提出的定位算法由4個(gè)模塊組成，包括面部?jī)A斜校正、基于HAAR特征級(jí)聯(lián)分類的人臉與人眼粗定位、人眼幾何校正精確定位和內(nèi)眼角定位，整體流程圖如圖1所示。

圖1 內(nèi)眼角定位流程

1.2 面部?jī)A斜校正預(yù)處理

采集的紅外熱圖像中受試者大多會(huì)出現(xiàn)頭部的左右擺動(dòng)現(xiàn)象，尤其在實(shí)時(shí)檢測(cè)中更加容易出現(xiàn)，這將造成受試者面部?jī)A斜，也不利于實(shí)驗(yàn)中眼睛的精確定位。針對(duì)這一問(wèn)題，需要將傾斜的面部圖像通過(guò)面部所傾斜的角度旋轉(zhuǎn)過(guò)來(lái)。為了解決面部?jī)A斜的角度，引入雙前沿主動(dòng)輪廓（dual-front active contour, DFAC）分割結(jié)合區(qū)域中分線算法。

主動(dòng)輪廓分割最早由Kass等人[15]提出，其不僅在輪廓提取得到廣泛運(yùn)用，在圖像分割中也發(fā)揮重要作用，而DFAC是Cohen等人[16]提出最短路徑理論，主要用于醫(yī)學(xué)圖像分割。本文引入該方法主要是其魯棒性好，速度較快等特點(diǎn)。室外環(huán)境下，受背景溫度以及周圍環(huán)境的影響，傳統(tǒng)的閾值處理很難準(zhǔn)確分割出紅外熱圖像中的人臉。而DFAC分割本質(zhì)是求局部區(qū)域內(nèi)的某能量泛函的全局最小值，由兩條主動(dòng)輪廓一條內(nèi)向外不斷膨脹，另一條由外向內(nèi)不斷收縮，以兩者相遇之處作為新輪廓來(lái)分割目標(biāo)區(qū)域，針對(duì)復(fù)雜的圖像具有不錯(cuò)的分割效果，其速度也因使用快速掃描法而更快。其演化過(guò)程如圖2所示。

圖2 雙前沿演化過(guò)程，從左到右：(a) 初始輪廓；(b) 形態(tài)學(xué)膨脹；(c) 新分割區(qū)域

其中圖2中(a)表示初始輪廓將圖像分為兩個(gè)區(qū)域分別為內(nèi)部區(qū)域in與外部區(qū)域out，(b)中R由通過(guò)形態(tài)學(xué)膨脹而來(lái)，R有內(nèi)邊界in與外邊界out組成，通過(guò)運(yùn)算，前沿從兩個(gè)邊界同時(shí)開始演化，相遇之處即為所求曲線new（(c)的中實(shí)線）。new即為新分割的區(qū)域。

為了提高DFAC分割面部的精度，初始化輪廓奠定了整個(gè)區(qū)域分割的基礎(chǔ)，由于室外場(chǎng)景復(fù)雜場(chǎng)所下，人臉在鏡頭下不是一直固定，因此本文在初始化輪廓之前首先加入HAAR特征的人臉檢測(cè)，將檢測(cè)的人臉區(qū)域作為初始化輪廓，這樣區(qū)域的精確性得到保障，接著圍繞初始輪廓構(gòu)造狹窄的活動(dòng)區(qū)域，提取其內(nèi)外邊界。進(jìn)行上述演化過(guò)程得到全局最小分割曲線new，直到收斂（即new與的差別最小，進(jìn)行替代）。

面部左右傾斜其特點(diǎn)是面部的器官?zèng)]有發(fā)生變化，只是相對(duì)的位置的改變，因此只需將圖像按旋轉(zhuǎn)角反向旋轉(zhuǎn)就完成校正。由于面部器官?zèng)]改變，一般情況下，面部是左右對(duì)稱的，面部中分線在沒(méi)有旋轉(zhuǎn)的情況下與軸成90°。而一旦面部旋轉(zhuǎn)，中分線與軸就會(huì)形成夾角。1表示旋轉(zhuǎn)角度，具體如式(1)所示：

由式(1)可知，旋轉(zhuǎn)校正主要受夾角的影響，因此中分線的位置是檢測(cè)目標(biāo)是否傾斜與校正的關(guān)鍵，由于人臉面部近似于一個(gè)橢圓，采用圖像處理regionprops中的屬性O(shè)rientation來(lái)確定人臉面部的中分線與軸的夾角。其校正效果見(jiàn)表4與圖6所示。

1.3 人臉、人眼區(qū)域粗定位

Kopaczka等人[17]的研究比較了機(jī)器學(xué)習(xí)中使用紅外熱成像人臉檢測(cè)算法的性能，其研究表明紅外熱成像下的人臉檢測(cè)算法大多是從圖像中提取特征進(jìn)行分類。針對(duì)室外環(huán)境下紅外熱成像下人臉檢測(cè)，熱圖像中的紋理特征尤為重要。為了提高目標(biāo)檢測(cè)率，需縮小感興趣區(qū)域（ROI，regions of interest）的搜索范圍，消除室外環(huán)境中大量無(wú)用的背景和噪聲。針對(duì)室外環(huán)境下紅外熱圖像所存在的一些特性，采用HAAR特征作為分類器的檢測(cè)可以有效解決熱圖像中灰度變化帶來(lái)的影響，能更好運(yùn)用這些灰度特性進(jìn)行特征分類。近年來(lái)，AdaBoost算法已經(jīng)得到不斷的發(fā)展與完善，檢測(cè)率也達(dá)到了較高的水平。AdaBoost的核心就是訓(xùn)練出若干個(gè)不同的弱分類器，通過(guò)這些弱分類器構(gòu)成表征好的強(qiáng)分類器來(lái)區(qū)分人臉特征與背景特征。但是針對(duì)室外環(huán)境下熱圖像中背景復(fù)雜、面部特征模糊，樣本區(qū)分困難度大，易導(dǎo)致過(guò)擬合。而Gentle-AdaBoost算法[18]是在AdaBoost的基礎(chǔ)之上對(duì)權(quán)重進(jìn)行過(guò)優(yōu)化，在與AdaBoost分類器對(duì)比其優(yōu)勢(shì)在于穩(wěn)定性好、對(duì)噪聲的影響小，對(duì)樣本的訓(xùn)練有更好的擬合數(shù)據(jù)。其人臉檢測(cè)步驟為：首先對(duì)樣本集進(jìn)行預(yù)處理，接著弱分類器對(duì)樣本集進(jìn)行不斷地迭代處理保留正確樣本，訓(xùn)練出不同的弱分類器并組合起來(lái)形成強(qiáng)分類器，最后將訓(xùn)練得到的各級(jí)強(qiáng)分類器以級(jí)聯(lián)的方式進(jìn)行串聯(lián)，形成一個(gè)更為強(qiáng)大的HAAR級(jí)聯(lián)分類器，這樣的級(jí)聯(lián)分類器會(huì)使目標(biāo)檢測(cè)率得到進(jìn)一步提升。能夠排除大量非人臉圖像，進(jìn)而縮短對(duì)特征定位速度。如圖3所示，是HAAR級(jí)聯(lián)分類器篩查的過(guò)程。

圖3 HAAR級(jí)聯(lián)分類器篩查過(guò)程

在人臉定位基礎(chǔ)上，再利用HAAR級(jí)聯(lián)分類器進(jìn)行眼睛定位。針對(duì)熱圖像中眼睛區(qū)域特征模糊，外觀復(fù)雜度高等問(wèn)題，在人臉檢測(cè)HAAR特征基礎(chǔ)上又增加了3種特征來(lái)提取樣本中的顯著特征，如圖4所示，分別是一個(gè)中心環(huán)繞特征(e)和兩個(gè)線性特征(f)、(g)。

上述新加入的特征都是基于眼睛在熱圖像中的結(jié)構(gòu)所設(shè)計(jì)的，與可見(jiàn)光圖像眼睛定位相比是有區(qū)別的，一些細(xì)節(jié)特征在眼睛區(qū)域更加容易體現(xiàn)，比如眉毛與鼻子區(qū)域的溫度較低，兩個(gè)眼睛是對(duì)稱，眼球溫度低于眼睛四周區(qū)域，新加入的特征能更好的表征眼睛區(qū)域一些特性，也更加有利于眼睛區(qū)域的定位。人臉、人眼分別訓(xùn)練級(jí)聯(lián)分類器，具體參數(shù)如表1所示，將樣本圖像中感興趣區(qū)域分別縮放至不同的窗口大小來(lái)訓(xùn)練HAAR級(jí)聯(lián)分類器，通過(guò)HAAR級(jí)聯(lián)分類器進(jìn)行篩查判別。

圖4 矩陣特征其中(a)、(b)邊緣特征；(d)、(f)、(g)線性特征；(c)對(duì)角線特征；(e)中心環(huán)繞特征

表1 HAAR級(jí)聯(lián)分類器訓(xùn)練參數(shù)

1.4 眼睛幾何校正

基于上述方法眼睛區(qū)域定位很容易受到面部其他區(qū)域特征的影響比如：眉毛、鼻梁、嘴巴以及面頰等區(qū)域的影響。為了進(jìn)一步減少誤檢窗口對(duì)眼睛區(qū)域定位的影響，本文引入幾何校正的方法來(lái)提高眼睛定位的準(zhǔn)確率。幾何特征是基于面部知識(shí)，如兩只眼睛是對(duì)稱關(guān)系，兩眼之間的距離在一定的范圍內(nèi)，兩個(gè)眼睛位置大致在同一水平線上。具體步驟如下：

步驟1 輸入檢測(cè)樣本集；

步驟2 通過(guò)HAAR級(jí)聯(lián)分類器結(jié)合VJ算法檢測(cè)出人眼區(qū)域，計(jì)算窗口個(gè)數(shù)；

步驟3 判斷窗口個(gè)數(shù)并作篩查處理，篩查操作如下：

①在人眼檢測(cè)中，窗口個(gè)數(shù)小于等于1時(shí)，認(rèn)為檢測(cè)結(jié)果正確，直接輸出。

②窗口個(gè)數(shù)等于2時(shí)，可能存在誤檢窗口，采用幾何特性進(jìn)行判斷，如發(fā)現(xiàn)有異常兩眼距離過(guò)小或者兩眼不在同一水平區(qū)域，說(shuō)明結(jié)果誤檢測(cè)。否則輸出正確結(jié)果，檢測(cè)關(guān)系如式(2)、(3)所示：

③窗口個(gè)數(shù)大于2時(shí)，一定存在誤檢窗口，基于上述②中的關(guān)系，同時(shí)還要滿足公式(6)，直到檢測(cè)結(jié)果正確，檢測(cè)關(guān)系如下(4)、(5)、(6)所示。

x＝1,2,3,…,，x＝1,2,3,…,(4)

y＝1,2,3,…,，y＝1,2,3,…,(5)

步驟4 若上述篩查處理完成后仍然存在誤檢窗口，則需要縮小檢測(cè)范圍。在重復(fù)公式(4)、(5)的基礎(chǔ)上，對(duì)公式(6)的范圍進(jìn)行更改，檢測(cè)關(guān)系如公式(7)所示：

式中：表示檢測(cè)到的所有窗口的橫坐標(biāo)；表示檢測(cè)到的所有窗口的縱坐標(biāo)；表示檢測(cè)到的所有窗口的寬；表示檢測(cè)到的所有窗口的高；左眼窗口坐標(biāo)為(1,2)，右眼窗口坐標(biāo)為(1,2)；1、2、3、4為新檢測(cè)出的眼睛窗口。上述方法檢測(cè)到的眼睛區(qū)域作為定位的結(jié)果。在不影響檢測(cè)精度和速度的前提下，幾何校正方法引入提高了定位精度。

1.5 內(nèi)眼角定位及提取

眼睛區(qū)域溫度與人體體溫相比誤差較大，影響測(cè)溫的準(zhǔn)確性。眾多研究表明，內(nèi)眼角區(qū)域的溫度是最接近人體的體溫。因此，針對(duì)室外環(huán)境下內(nèi)眼角的定位提出了區(qū)域精化與區(qū)域生長(zhǎng)分割相結(jié)合的算法。

Levine等人[19]首先提出將區(qū)域生長(zhǎng)法成功運(yùn)用于圖像分割方法中。與Otsu等閾值分割的方法相比，區(qū)域生長(zhǎng)分割充分考慮了分割目標(biāo)的位置信息，它主要有2個(gè)顯著的特點(diǎn)：

1）種子點(diǎn)的選擇需要有一定的代表性，否則難以分割目標(biāo)區(qū)域，具有依耐性。

2）生長(zhǎng)準(zhǔn)則的取值對(duì)內(nèi)眼角區(qū)域內(nèi)溫度影響較大，需要選擇合理的閾值，如果鄰域內(nèi)的像素值小于，則納入目標(biāo)區(qū)域。其公式(8)如下。

式中：[]表示目標(biāo)區(qū)域；(,)表示種子點(diǎn)的像素值；(,)表示鄰域像素值。

3）生長(zhǎng)停止條件的閾值1決定區(qū)域的大小，1較小內(nèi)眼角欠分割，1較大內(nèi)眼角過(guò)分割。

首先種子點(diǎn)的選擇，在可控室內(nèi)場(chǎng)景下內(nèi)眼角溫度最接近人體溫度，直接選擇眼睛區(qū)域最大像素作為種子點(diǎn)是可行的[9]，而紅外熱像儀在復(fù)雜室外環(huán)境下采集的圖像內(nèi)眼角區(qū)域?qū)儆谌跣∧繕?biāo)，無(wú)明顯紋理特征，受到嚴(yán)重的噪聲干擾，上述方法種子點(diǎn)的選擇是不可取的。為了應(yīng)對(duì)室外環(huán)境下內(nèi)眼角定位，種子點(diǎn)的選擇融入?yún)^(qū)域精化處理的方法。具體步驟如下：

1）迭代閾值分割：眼睛區(qū)域采用改進(jìn)的自適應(yīng)迭代閾值分割的方法，找到像素強(qiáng)度接近于眼睛區(qū)域最大強(qiáng)度值時(shí)更新為新的閾值2，分割采用公式(9)所示。

式中：(,)表示區(qū)域像素的灰度值；2表示迭代產(chǎn)生的新閾值；(,)表示分割后的二值圖像。二值圖像白色區(qū)域?yàn)橄袼貜?qiáng)度較大的區(qū)域，也叫熱區(qū)域。

2）基于知識(shí)的熱區(qū)域篩查：由內(nèi)眼角特性可知，左眼的內(nèi)眼角在右邊，右眼的內(nèi)眼角在左邊。對(duì)二值圖像中的熱區(qū)域進(jìn)行剔除處理，算法步驟如下：

步驟1 輸入二值圖像；

步驟2 判斷圖像處于面部位置，左眼為1，右眼為2；

步驟3 如果為1，掃描1中所有像素，將1中左半邊區(qū)域1(,)中所有熱區(qū)域像素剔除，否則為2，掃描2中所有像素，將2中右半邊區(qū)域2(,) 中所有熱區(qū)域像素剔除；

步驟4 輸出步驟1或者步驟2中的二值圖像3。

3）連通域選擇[20]：基于先驗(yàn)知識(shí)，熱區(qū)域中絕大多數(shù)區(qū)域是受噪聲影響產(chǎn)生的，這些區(qū)域通常較小。引入連通域進(jìn)行區(qū)域篩查，通過(guò)比較熱區(qū)域中各個(gè)連通域的面積，選擇熱區(qū)域面積最大的連通域。經(jīng)過(guò)上述精化處理后對(duì)內(nèi)眼角區(qū)域粗定位，在此區(qū)域內(nèi)將像素值最大的作為種子點(diǎn)。

接著生長(zhǎng)準(zhǔn)則的選擇，為了保證內(nèi)眼定位的準(zhǔn)確性，區(qū)域生長(zhǎng)采用8鄰域不斷合并，鄰域的像素值與每個(gè)新的種子像素值差別太大會(huì)拉低整個(gè)內(nèi)眼角區(qū)域溫度，因此本文閾值設(shè)為3。就是將種子點(diǎn)與其鄰域內(nèi)待測(cè)點(diǎn)之差的絕對(duì)值小于3的像素點(diǎn)合并為種子區(qū)域。合并的區(qū)域都是內(nèi)眼角區(qū)域像素值最大的點(diǎn)。

最后生長(zhǎng)停止的條件，F(xiàn)itriyah等人[21]采用最高9個(gè)像素點(diǎn)作為內(nèi)眼角區(qū)域溫度檢測(cè)的標(biāo)準(zhǔn)，內(nèi)眼角斑點(diǎn)的面積必須最小為9個(gè)像素。Budzan等人[9]則是采用9×16的區(qū)域作為內(nèi)眼角區(qū)域進(jìn)行溫度檢測(cè)的，內(nèi)眼角區(qū)域要小，這是為了防止內(nèi)眼角區(qū)域過(guò)大，影響內(nèi)眼角作為溫度檢測(cè)的標(biāo)準(zhǔn)，因此本文條件是當(dāng)起始的種子點(diǎn)的值與整個(gè)種子區(qū)域內(nèi)最小種子點(diǎn)的差值大于閾值1停止生長(zhǎng)。1設(shè)為5，這樣區(qū)域內(nèi)最小像素點(diǎn)與最大像素點(diǎn)差值最大為4，保證內(nèi)眼角溫度檢測(cè)的準(zhǔn)確性，1過(guò)大會(huì)導(dǎo)致區(qū)域更大。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 數(shù)據(jù)集處理

為了驗(yàn)證實(shí)驗(yàn)對(duì)面部特征區(qū)域定位有效性，實(shí)驗(yàn)運(yùn)行環(huán)境為Intel(R) Core(TM) i5-7300HQ CPU，平臺(tái)為MATLAB R2018b和Python OpenCV庫(kù)，使用了4個(gè)數(shù)據(jù)集，分別是The Tufts Face中的紅外人臉熱圖像數(shù)據(jù)集（http://tdface.ece.tufts.edu/）、OTCBVS中的人臉紅外數(shù)據(jù)集、Sciebo中的紅外人臉熱圖像數(shù)據(jù)集（https://rwth-aachen. sciebo.de/s/AoSNdkGBRCt WIzX）以及采用FLIR E40紅外熱成像儀自行采集的校園門口行人的面部數(shù)據(jù)集。根據(jù)Budzan等人[9]的研究表明熱成像儀鏡頭距離面部1.5m左右體溫檢測(cè)的效果最好，有利于提高區(qū)域定位的精確性，同時(shí)也提高內(nèi)眼角測(cè)溫的準(zhǔn)確度。因此E40鏡頭與目標(biāo)的距離固定為1.5m左右進(jìn)行拍攝，樣本中成像儀溫度覆蓋了校園門口背景環(huán)境0℃～45℃下的熱圖像。其中The Tufts Face和Sciebo兩個(gè)數(shù)據(jù)集是室內(nèi)環(huán)境下的，不屬于室外場(chǎng)景，只用于實(shí)驗(yàn)訓(xùn)練?；拘畔⑷绫?所示。

表2 測(cè)試與訓(xùn)練數(shù)據(jù)的基本信息

OTCBVS數(shù)據(jù)集包含了22419張圖片，其圖片來(lái)自不同的環(huán)境下拍攝的紅外人臉。手動(dòng)分割出5000人臉區(qū)域用作人臉檢測(cè)訓(xùn)練集樣本，使用The Tufts Face與OTCBVS數(shù)據(jù)集分別作為測(cè)試集樣本。眼睛樣本集通過(guò)手動(dòng)分割Sciebo數(shù)據(jù)集中的眼睛區(qū)域，測(cè)試集樣本采用The Tufts Face與FLIR E40拍攝的數(shù)據(jù)集分別進(jìn)行測(cè)試。使用跨數(shù)據(jù)集的實(shí)驗(yàn)方式進(jìn)行人臉、人眼定位，能充分證明方法的穩(wěn)定性有效性。如圖5所示，是FLIR E40拍攝室外不同溫度區(qū)間下的樣本。

2.2 評(píng)價(jià)標(biāo)準(zhǔn)

人體紅外熱圖像內(nèi)眼角溫度測(cè)量的本質(zhì)就是各區(qū)域的定位效果，因此準(zhǔn)確率是衡量算法的指標(biāo)。驗(yàn)證其定位的準(zhǔn)確率，即：

式中：Acc是定位的準(zhǔn)確率；c是檢測(cè)到的正確圖像個(gè)數(shù)；T是圖像總個(gè)數(shù)。

圖5 樣本示例：(a) 0℃～10℃區(qū)間拍攝；(b) 10℃～20℃區(qū)間拍攝；(c) 20℃～30℃區(qū)間拍攝

Fig.5 Sample diagram (a) Shooting at 0℃-10℃; (b) Shooting at 10℃-20℃; (c) Shooting at 20℃-30℃

其次考慮內(nèi)眼角定位的實(shí)時(shí)性，將每張圖片平均內(nèi)眼角定位的時(shí)間也作為評(píng)價(jià)標(biāo)準(zhǔn)，即：

式中：是定位耗費(fèi)時(shí)間；是圖片張數(shù)。

2.3 可行性分析

表3給出了各區(qū)域在跨數(shù)據(jù)集實(shí)驗(yàn)中的定位結(jié)果，其中LE表示左眼，RE表示右眼，LIC表示左內(nèi)眼角，RIC表示右內(nèi)眼角。

表3 感興趣區(qū)域定位平均準(zhǔn)確率

各個(gè)區(qū)域定位實(shí)驗(yàn)分別在兩個(gè)不同的數(shù)據(jù)集上進(jìn)行，每個(gè)數(shù)據(jù)集都抽取人臉正面圖像400張進(jìn)行測(cè)試。從表3結(jié)果可以看出，不同場(chǎng)景下的數(shù)據(jù)集都可以獲得較好的定位效果，但也同樣存在一定的差異。人臉檢測(cè)實(shí)驗(yàn)中，在OTC數(shù)據(jù)集實(shí)現(xiàn)了96.8%的準(zhǔn)確率，而在TTF數(shù)據(jù)集上實(shí)現(xiàn)了100%的準(zhǔn)確率。這是由于OTC數(shù)據(jù)集本身比TTF數(shù)據(jù)集大得多，其次OTC采集的是復(fù)雜環(huán)境下紅外圖像，其受背景環(huán)境影響導(dǎo)致檢測(cè)的準(zhǔn)確率有所下降。而TTF數(shù)據(jù)集是采集標(biāo)準(zhǔn)的室內(nèi)環(huán)境下人臉熱圖像并且控制了鏡頭與面部距離，因此定位效果非常精確。OTC數(shù)據(jù)集的訓(xùn)練和測(cè)試的準(zhǔn)確率略低于TTF數(shù)據(jù)集是合理的。而人眼與內(nèi)眼角的定位，表3中在TTF數(shù)據(jù)集上檢測(cè)的準(zhǔn)確率依然高于E40數(shù)據(jù)集，這是由于E40數(shù)據(jù)集在室外環(huán)境下受環(huán)境影響較大，眼睛區(qū)域的特征紋理更難捕捉到，內(nèi)眼角區(qū)域受噪聲影響大、區(qū)域小導(dǎo)致定位效果低于TTF數(shù)據(jù)集是必然的，也是合理的。

針對(duì)面部?jī)A斜校正方法的可行性分析，本文從TTF數(shù)據(jù)集與E40數(shù)據(jù)集分別選用400張圖片進(jìn)行測(cè)試。表4給出兩組實(shí)驗(yàn)測(cè)試的結(jié)果。

表4 面部?jī)A斜校正的結(jié)果

表4驗(yàn)證了面部?jī)A斜校正可行性，實(shí)驗(yàn)表明TTF數(shù)據(jù)集與E40數(shù)據(jù)都有不錯(cuò)的校正效果，TTF數(shù)據(jù)集的效果較差于E40是因?yàn)門TF數(shù)據(jù)集中包含了大量女性人臉圖像，部分女性長(zhǎng)發(fā)遮面，直接影響面部中分線的劃分，導(dǎo)致校正效果受到影響，是合理的。實(shí)驗(yàn)效果如圖6所示。

圖6 實(shí)驗(yàn)效果圖 (a)、(b)為E40采集的原圖像，(c)、(d)為其校正后的圖像

為了驗(yàn)證眼睛幾何校正方法可行性，選用TTF數(shù)據(jù)集中的400張圖片進(jìn)行測(cè)試，表5是原始分類器模型與引入了幾何校正分類器模型的檢測(cè)結(jié)果對(duì)比，圖7是實(shí)驗(yàn)效果圖，用幾何校正的方法在不影響檢測(cè)結(jié)果的基礎(chǔ)上排除了大量的誤檢窗口，保證了實(shí)驗(yàn)的可行性。

表5 幾何校正前后檢測(cè)結(jié)果對(duì)比

圖7 實(shí)驗(yàn)效果圖（從左往右，從上往下）(a) TTF數(shù)據(jù)集圖；(b) 人臉、人眼定位；(c) 幾何校正；(d) 內(nèi)眼角定位；(e) FLIR E40采集圖；(f) 人臉、人眼定位；(g) 幾何校正；(h) 內(nèi)眼角定位

2.4 與基本算法定位效果之間的比較

針對(duì)算法的有效性驗(yàn)證，在E40數(shù)據(jù)集進(jìn)行對(duì)比實(shí)驗(yàn)，分別對(duì)HAAR級(jí)聯(lián)分類器結(jié)合區(qū)域生長(zhǎng)分割（RG）是否進(jìn)行特征種類的選擇，是否采用幾何校正，是否進(jìn)行區(qū)域精化處理，定位結(jié)果如表6所示。

定位結(jié)果表明與基本HAAR（7 species）級(jí)聯(lián)分類器結(jié)合區(qū)域生長(zhǎng)分割的內(nèi)眼角定位算法相比較，本文方法在眼睛區(qū)域定位的準(zhǔn)確率提高了29.1%，在內(nèi)眼角定位的準(zhǔn)確率提高了31.2%。準(zhǔn)確率的上升導(dǎo)致定位時(shí)間的上升，若每人測(cè)溫駐留時(shí)間為1s，則算法所占時(shí)間比為0.238:1，一般可滿足實(shí)時(shí)性要求，可見(jiàn)算法在室外場(chǎng)景下具有較好的實(shí)用性。這主要源于HAAR分類器模型上引入了幾何校正算法，在進(jìn)行內(nèi)眼角定位前對(duì)眼睛區(qū)域進(jìn)行了區(qū)域精化處理來(lái)提高定位的準(zhǔn)確率。

表6 本文方法與基本算法定位效果對(duì)比

2.5 與其他算法的定位效果對(duì)比

在各個(gè)數(shù)據(jù)集上將本文眼睛、內(nèi)眼角定位算法與其他相關(guān)的算法比較，分別是基本HAAR算法、閾值分割（Threshold Segmentation, TS）結(jié)合基于知識(shí)的面部比例算法（Facial Proportions, FP）[22]、隨機(jī)霍夫變換（Randomize the Hough Transform，RHT）結(jié)合區(qū)域生長(zhǎng)分割算法（Region growing, RG）[9]以及基于Neural Network定位算法[23]，其定位結(jié)果如表7所示，其中L表示左眼，R表示右眼。

由表7可以得出以下結(jié)論：

1）本文算法比采用單一的HAAR特征結(jié)合RG算法，從人臉、眼睛和內(nèi)眼角的定位準(zhǔn)確率都得到了很大程度的提高。同時(shí)在與其他算法在室內(nèi)場(chǎng)景比較中，眼睛的準(zhǔn)確率略占優(yōu)勢(shì)，而內(nèi)眼角定位的準(zhǔn)確率到達(dá)100%，充分說(shuō)明了方法在環(huán)境可控的室內(nèi)場(chǎng)景下與室外環(huán)境下的內(nèi)眼角定位均有一定的有效性。

2）眼睛區(qū)域紋理特征在室外環(huán)境中更加模糊，本文算法在室外環(huán)境下與RHT算法在室內(nèi)環(huán)境下相比較準(zhǔn)確率低了3%左右，與TS算法在復(fù)雜環(huán)境下相比較卻高出了14%左右。而內(nèi)眼角定位的準(zhǔn)確率無(wú)論室內(nèi)、外環(huán)境都要比其它算法更具有優(yōu)勢(shì)，充分表明本文算法在室外場(chǎng)景下的內(nèi)眼角定位穩(wěn)定性更高。

3）室外環(huán)境對(duì)比室內(nèi)可控環(huán)境下熱成像的內(nèi)眼角定位各方面的準(zhǔn)確率都有所降低，主要受背景環(huán)境熱源復(fù)雜，室外環(huán)境復(fù)雜等影響因素。但是本文算法在內(nèi)眼角定位上通過(guò)區(qū)域精化算法有效地降低了誤定位，提升了準(zhǔn)確率。在定位速度上不及Neural Network算法，這主要兩方面因素，一方面受處理器性能約束，另一方面受室外環(huán)境復(fù)雜度影響，導(dǎo)致檢測(cè)速率下降，但對(duì)于實(shí)時(shí)性定位的要求還是能夠滿足。

表7 5種算法定位效果對(duì)比

3 結(jié)論

針對(duì)室外環(huán)境下背景熱源過(guò)高，外界環(huán)境干擾的情況，本文在采用HAAR特征級(jí)聯(lián)分類器粗定位人臉、人眼區(qū)域的基礎(chǔ)上，引入了幾何校正算法對(duì)眼睛區(qū)域進(jìn)行篩查精定位，并提出區(qū)域精化處理算法結(jié)合區(qū)域生長(zhǎng)分割定位內(nèi)眼角。與標(biāo)準(zhǔn)的方法相對(duì)比，在人臉、眼睛以及內(nèi)眼角定位的準(zhǔn)確率上都有大幅度提升，具有出色的適應(yīng)性。同時(shí)與TS、RHT、Neural Network等方法在實(shí)際環(huán)境中進(jìn)行比對(duì)，實(shí)驗(yàn)結(jié)果表明，本文方法在針對(duì)室外環(huán)境背景熱源過(guò)高，外界環(huán)境干擾的情況下均有一定優(yōu)勢(shì)，這也為內(nèi)眼角在室外環(huán)境下紅外熱成像發(fā)熱篩查中提供了新的可能性。

但是本算法依然存在不足之處，如：面部?jī)A斜校正抗干擾能力差、針對(duì)人眼區(qū)域遮擋無(wú)法做出判斷、復(fù)雜場(chǎng)景下的魯棒性與準(zhǔn)確性以及定位速度有待進(jìn)一步提高。

[1] 陳紅強(qiáng). 非接觸式紅外熱成像測(cè)溫技術(shù)的探析[J]. 中國(guó)安防, 2020(5): 35-40.

CHEN Hongqiang. Analysis of non-contact infrared thermal imaging temperature measurement technology [J]., 2020(5): 35-40.

[2] 呂事桂, 劉學(xué)業(yè). 紅外熱像檢測(cè)技術(shù)的發(fā)展和研究現(xiàn)狀[J]. 紅外技術(shù), 2018, 40(3): 214-219.

LV Shigui, LIU Xuexue. Development and research status of infrared thermography detection technology[J]., 2018, 40(3): 214-219.

[3] Nguyen A V, Cohen N J, Lipman H, et al. Comparison of 3 infrared thermal detection systems and self-report for mass fever screening[J]., 2010, 16(11): 1710.

[4] STELLA A B, MANGANOTTI P, FURLANIS G, et al. Return to school in the COVID-19 era: considerations for temperature measurement[J]., 2020, 44(8): 468-441.

[5] MERCER J B, RING E F J. Fever screening and infrared thermal imaging: concerns and guidelines[J]., 2009, 19(3): 67-69.

[6] IX-IXO. Medical Electrical Equipment - Part 2-59: Particular Requirements for Basic Safety and Essential Performance of Screening Thermographs for Human Febrile Temperature Screening:IEC 80601-2-59 [S]. [2008-12-02].

[7] US-ASTM. Standard Practice for Minimum Resolvable Temperature Differ Ence for Thermal Imaging Systems: ASTM1213-14 [S]. [2018-11-01] .

[8] Friedrich G, Yeshurun Y. Seeing people in the dark: Face recognition in infrared images[C]//, 2002: 348-359.

[9] BUDZAN S, WY?GOLIK R. Face and eyes localization algorithm in thermal images for temperature measurement of the inner canthus of the eyes[J]., 2013, 60: 225-234.

[10] BERG A.[M]. Link?ping University Electronic Press, 2016.

[11] CHENNA Y N D, GHASSEMI P, PFEFER T J, et al. Free-form deformation approach for registration of visible and infrared facial images in fever screening[J]., 2018, 18(1): 125.

[12] VIOLA P, JONES M J. Robust real-time face detection[J]., 2004, 57(2): 137-54.

[13] Martinez B, Binefa X, Pantic M. Facial component detection in thermal imagery[C]//2010, 2010: 48-54.

[14] WONG W K, LIM H S, BINTI ISHAK N I N, et al. Fuzzy logic based viola Jones fever detection method in thermal imaging system[C]//, ICETCSIT-2013, 2013: 23-26.

[15] Michael Kass, Andrew Witkin, Demetri Terzopoulos. Snakes: active contour models[J]., 1988, 1(4): 321-331.

[16] Cohen L, Kimmel R. Global minimum for active contour models: a minimal path approach[J]., 1997, 24(1): 57-78.

[17] KOPACZKA M, NESTLER J, MERHOF D. Face detection in thermal infrared images: a comparison of algorithm-and machine -learning-based approaches[C]//, 2017: 518-529.

[18] FRIEDMAN J, HASTIE T, TIBSHIRANI R. Additive logistic regression: a statistical view of boosting: rejoinder [J]., 2000, 28(2): 337-407.

[19] LEVINE M D, NAZIF A M. Dynamic measurement of computer generated image segmentations [J]., 1985(2): 155-64.

[20] BAILEY D G, JOHNSTON C T. Single pass connected components analysis[C]//, 2007: 282-287.

[21] Fitriyah H, Rachmadi A, Setyawan G E. Automatic measurement of human body temperature on thermal image using knowledge -based criteria[J]., 2017, 2(2): DOI: 10.25126/ JITECS. 20172235.

[22] FITRIYAH H, WIDASARI E R, PUTRI R R M. Inner-Canthus localization of thermal images in face-view invariant[J].,, 2018, 8(6):2570-2576.

[23] Marzec M, Lam?a A, Wróbel Z, et al. Fast eye localization from thermal images using neural networks[J]., 2016: 1-14.

Inner-Canthus Localization in Infrared Thermal Images in Outdoor Environments

SUN Lei，CHEN Shuyue，QI Yamin

(,,213164,)

Target areas in infrared thermal images in outdoor environments are affected by background overheating and the surrounding environment, causing fuzzy target boundaries and large noise. An inner-canthus location algorithm for infrared thermal images in outdoor environments is proposed to solve this problem. First, the algorithm corrects the facial tilt of collected images. Then, Gentle-Adaboost and Haar features are combined to perform approximate localization of human faces and eyes, and geometric correction is applied to accurately locate the eye region. Finally, based on the characteristics of the inner-canthus region, an inner-canthus location is proposed by combining region refinement and region growth segmentation. Experiments are conducted on three different infrared thermal image datasets and outdoor datasets independently collected at different temperature ranges in different seasons.The results show that the proposed method can effectively locate the inner canthus in the outdoor environment, and the accuracy for human eyes and inner-canthus can reach 98.1% and 97.7%, respectively.

outdoor environment, infrared thermal image, inner-canthus location, feature extraction, regional refinement

TP391.41

A

1001-8891(2022)10-1103-09

2021-07-06；

2021-08-20.

孫磊（1995-），男，碩士，機(jī)器視覺(jué)、模式識(shí)別，E-mail：19081203594@smail.cczu.edu.cn。

陳樹越（1963-），男，教授，計(jì)算機(jī)視覺(jué)、圖像處理，E-mail：csyue2000@163.com。

江蘇省科技廳社會(huì)發(fā)展項(xiàng)目（BE2018638）。