改進Canny 算法的紅外人臉圖像邊緣輪廓提取

王鑫剛，田軍委，于亞琳，王 沁，張 杰

（1. 西安工業(yè)大學 機電工程學院，陜西 西安 710021；2. 西安工業(yè)大學 光電工程學院 ，陜西 西安 710021；3. 內蒙古北方重工業(yè)集團有限公司 ，內蒙古 包頭 014030）

引言

紅外圖像可以直觀反應物體的輻射能力大小，其成像不受光照變化影響，具有較強的魯棒性，因此應用越來越廣泛[1]。在人臉圖像處理領域，在主動光源不可獲取或者自然光源極其微弱的情況下，相較于可見光人臉圖像，紅外人臉圖像成像較為穩(wěn)定，可以在一定程度上彌補可見光人臉圖像的信息缺失[2]，這使得紅外人臉圖像的研究具有重要意義。人臉邊緣輪廓特征是一種重要的臉部特征信息，在人臉圖像的相關應用中發(fā)揮著重要作用[3]，而對于紅外人臉圖像，普遍存在著邊緣清晰度低與抗干擾能力不足的問題，因此，提取紅外人臉圖像清晰完整的邊緣輪廓特征對后續(xù)的紅外人臉圖像處理至關重要。

對于人臉圖像的輪廓提取，可以通過邊緣檢測[4]、主動輪廓模型[5]等方法來實現(xiàn)，以上方法在可見光人臉圖像中有較好的適用性。除此之外，圖像分割也被應用在人臉圖像的邊緣輪廓提取上，Wang[6]等人提取人臉圖像輪廓采用的是圖像分割方法，但該方法存在人臉圖像邊界處理過于粗糙的問題，而且和人臉實際輪廓存在較大差異。對于紅外人臉圖像[7]的邊緣輪廓特征提取，受紅外成像分辨率、質量不高的局限以及環(huán)境和人自身的狀態(tài)變化影響，人臉溫譜圖會發(fā)生非均勻變化，使得紅外人臉圖像特征信息存在過多干擾，增加了紅外人臉圖像人臉邊緣輪廓提取的難度。Canny[8]算法作為一種經(jīng)典的邊緣檢測方法，相比于其他的邊緣檢測算子[9]，對于邊緣特征能夠達到較高的檢測精度，可以用作紅外圖像的邊緣檢測，但Canny 算法最初始的檢測對象并不是紅外圖像，因此Canny 算法對于紅外圖像的邊緣檢測有較大的改進空間。文獻[10]將快速煙花算法與Canny算法結合用于飛機蒙皮紅外圖像邊緣檢測，有效提高了檢測精度；文獻[11]提出一種改進的Canny算法，通過采用自適應平滑濾波代替高斯濾波等措施有效提高了邊緣檢測算法的適應性，但Canny算法的以上改進措施并不能完全適用于紅外人臉圖像的邊緣輪廓提取。

為克服紅外人臉圖像邊緣輪廓提取的以上難點，本文基于紅外圖像自身的特點，提出了一種基于典型邊緣檢測最優(yōu)算子Canny 的改進紅外人臉邊緣輪廓提取算法，可以有效避免原始Canny 算法檢測紅外人臉圖像邊緣輪廓時高斯濾波器參數(shù)的不確定性、輪廓邊緣提取不完整或存在偽邊緣等弊端。

1 傳統(tǒng)Canny 算法及存在不足

1.1 Canny 算法原理

Canny 算子屬于微分算子中典型的最優(yōu)算子，用變分積分來解決邊緣檢測問題，其算法核心是用高斯濾波器的一階導數(shù)來近似理想的邊緣檢測算子，如表1 所示為Canny 算法檢測流程。

表1 Canny 算法邊緣檢測流程Table 1 Edge detection process by Canny algorithm

1.2 Canny 算法處理紅外人臉圖像中的不足

雖然Canny 算子屬于典型的最優(yōu)算子，但是對于提取紅外人臉圖像邊緣輪廓提取原始Canny 算法本身依然存在一些不足：

1） 在使用高斯濾波器濾除噪聲時，若高斯模糊的半徑過小，噪聲去除效果不明顯，而高斯模糊的半徑增大，又會損失一些邊緣特征，整體處理效果不理想；

2） 最初Canny 算法使用2×2 卷積模板計算像素梯度幅值與方向，現(xiàn)階段常使用3×3 卷積模板計算像素梯度幅值與方向，但以上兩種卷積模板計算像素梯度幅值與方向會丟失一些特征信息，造成非極大值抑制插值不夠精確；

3） Canny 算法的雙閾值主要依靠經(jīng)驗選取，然而根據(jù)經(jīng)驗選擇閾值很難確定一個最優(yōu)值，對于紅外人臉圖像傳統(tǒng)Canny 算法選取閾值的方法存在明顯弊端。

2 改進Canny 算法的紅外人臉圖像邊緣輪廓提取

2.1 紅外人臉輪廓提取算法框架

針對Canny 算法中存在的不足，目前也有許多研究者對其進行了改進，一種改進思路是將原始Canny 算法中的高斯濾波替換為中值濾波或雙邊濾波[12-13]，這種改進思路可以在實現(xiàn)濾波的同時有效保持圖像結構信息，但增加了算法復雜度，降噪效果也并不能達到理想狀態(tài)；除此之外，一些研究者為解決Canny 算法人為經(jīng)驗確定全局固定雙閾值的弊端，引入OTSU（大津算法）[14-15]實現(xiàn)自動閾值選取，但OTSU 算法只用單一灰度值表示閾值，容易產(chǎn)生閾值偏差。同時以上改進思路大多是對于Canny 算法進行可見光圖像的邊緣輪廓檢測進行的，并不能完全適用于紅外圖像的邊緣輪廓檢測。本文針對Canny 算法在紅外圖像邊緣檢測中存在的問題，基于引導濾波算法[16]，使用改進的“具有動態(tài)閾值約束因子”的引導濾波算法代替原始Canny 算法中的高斯濾波，以解決高斯濾波在紅外圖像降噪過程中會削弱邊緣信息的缺陷；改進原始算法的非極大值抑制，以解決原始算法非極大值抑制過程插值點選取隨意度大的弊端；改進OTSU 算法[17]，構建灰度-梯度映射函數(shù)獲取最佳閾值，以解決原始算法人為經(jīng)驗設定閾值的弊端，如圖1 所示為本文紅外人臉圖像邊緣輪廓提取算法流程。

圖1 改進Canny 算法的紅外人臉圖像邊緣輪廓提取流程Fig. 1 Flow chart of edge contour extraction of infrared face image based on improved Canny algorithm

2.2 Canny 算法的改進

2.2.1 原始濾波算法改進

本文基于引導濾波算法引入動態(tài)閾值約束因子，實現(xiàn)Canny 算法邊緣檢測過程中的噪聲濾除。引導濾波算法[18]是通過局部線性模型推導而來的，該算法的操作就是通過使用一張引導圖像產(chǎn)生權重，對輸入的待濾波圖像進行處理得到輸出圖像，本文的改進算法中，為了實現(xiàn)邊緣強化，引導圖像為輸入的紅外圖像本身，引導濾波過程如（1）式所示：

式中；q表示輸出圖像；I表示引導圖像；p表示輸入的待濾波圖像；W表示引導圖像產(chǎn)生的權重；i和j代表像素點的索引。由文獻[18] 中的算法公式可得到，對于整個過程，輸出圖像Q，引導圖像I，輸入的待濾波圖像P之間的線性表達式為

式中： |w|表 示鄰域塊中像素個數(shù)；k表示局部窗口的索引； μk和 σ2分 別表示鄰域塊的均值和方差；pˉk表示局部窗口wk范圍內輸入的待濾波圖像p的均值；ε為約束項。分析（2）式可得出，利用引導濾波算法處理圖像時，圖像中每個窗口遍歷的濾波算子均是相同的，伴隨濾波算子的約束項也是相同的，但對于一幅實際的紅外人臉圖像，各個窗口的邊緣點數(shù)不同，如果在整個濾波過程中使用具有相同約束項的濾波算子，對于紅外人臉圖像中邊緣圖像較弱的區(qū)域會造成邊緣過度平滑。針對此問題，結合紅外圖像自身的特點，本文基于引導濾波算法，以窗口內邊緣點的數(shù)量為依據(jù)，引入了邊緣點數(shù)目閾值約束因子，能夠均衡紅外人臉圖像中強邊緣和弱邊緣窗口的濾波需求，引入邊緣點數(shù)目閾值約束因子后，經(jīng)過濾波的輸出圖像為

式中：Q＇表示引入邊緣點數(shù)目閾值約束因子后的濾波輸出圖像； η表示動態(tài)約束因子（即：像素塊內閾值變化比值）；C表示類間方差最優(yōu)閾值；n表示窗口內超過變化閾值的像素個數(shù)。在引導濾波算法中引入邊緣點數(shù)目閾值約束因子后，紅外人臉圖像在像素塊中邊緣像素信息過弱時會獲得較小的約束因子，當像素塊邊緣信息過強時，約束項隨之增大，解決了全局約束對于紅外人臉圖像中邊緣圖像較弱的區(qū)域會造成邊緣過度平滑的問題。

2.2.2 原始非極大值抑制改進

Canny 算法中的非極大值抑制旨在消除檢測中的雜散響應，其基本方法是將當前像素梯度幅值與沿正負梯度方向上的相鄰像素的梯度幅值進行比較，若其最大（即為極大值），保留該像素為邊緣點；反之，則對其進行抑制以消除雜散響應。非極大值抑制線性插值過程中，在采用3×3 卷積模板計算像素梯度幅值與方向時，像素的鄰接情況劃分為水平、豎直、雙對角線4 個梯度方向，但該方式會損失真實邊緣點。特別是在紅外人臉圖像其圖像本身邊緣信息不夠顯著的情況下，原始算法非極大值抑制過程中的插值方法可能會漏掉一些邊緣特征，存在較大的弊端。如圖2 所示為原始Canny 算法非極大值抑制中插值梯度方向示意。

圖2 原始Canny 算法非極大值抑制插值遍歷梯度方向示意Fig. 2 Schematic of interpolation gradient direction in nonmaximum suppression of original Canny algorithm

為了避免原始算法非極大值抑制過程中的弊端，本文在原始計算梯度方向的基礎上又增加了22.5°，67.5°，112.5°，157.5°這4 個梯度方向，使得插值較原始算法更加精細，如圖3 所示為改進后的非極大值抑制插值遍歷梯度方向示意。

圖3 改進后的非極大值抑制插值遍歷梯度方向示意Fig. 3 Schematic of improved interpolation gradient direction in non-maximum suppression

2.2.3 原始雙閾值檢測改進

OTSU 算法基于灰度值獲取最佳閾值T*的判別函數(shù)如（11）式：

式中： (x,y)∈(O∪B)， 代表所有像素的集合；f(h)代表所有像素數(shù)量。

通過構造灰度-梯度映射函數(shù)實現(xiàn)待測紅外人臉圖像的灰度信息和梯度信息的融合，由于OTSU算法通過選取目標函數(shù)的極小值為最佳閾值，故本文通過使用梯度密度函數(shù)取倒數(shù)的方法構造灰度-梯度映射函數(shù)，并構造指數(shù)形式的目標函數(shù)以獲得最佳的邊緣檢測效果，構造的指數(shù)型灰度-梯度映射目標函數(shù)如（13）式：

在新的最佳閾值判別標準下，得到的最佳閾值表示為

改進后的OTSU 算法通過一次判別獲得最優(yōu)的高閾值，根據(jù)Canny 算法推薦的高低閾值比在2∶1 到3∶1 之間的準則，即可得到最優(yōu)的低閾值。由于本文獲得的最佳閾值已經(jīng)確定了大部分邊緣點，結合實驗分析可知，本文改進算法的高低閾值之間為2.5 倍關系。

3 實驗及分析

為證明提出的改進Canny 算子的紅外人臉圖像邊緣輪廓提取算法的有效性，基于Windows10操作系統(tǒng)、NVIDAG Force GTX 1050Ti 顯卡、8 GB內存的計算機，使用MATLAB2018b 軟件進行了仿真實驗，數(shù)據(jù)集采用公開的紅外光人臉圖像數(shù)據(jù)庫UTK-IRIS。該數(shù)據(jù)集由俄亥俄州立大學發(fā)布，數(shù)據(jù)集總大小為1.83 GB，共包含4228 對紅外和可見光圖像，圖片尺寸為320×240 像素。

3.1 原始濾波算法改進實驗與分析

3.1.1 濾波算法對比實驗

為了充分證明本文改進的濾波算法的濾波效果，將UTK-IRIS 數(shù)據(jù)庫中的紅外人臉圖像通過不同濾波算法進行了測試比較。為了有效避免紅外人臉圖像背景邊框等冗余信息的干擾，同時做了原始紅外人臉圖像及剪裁邊框后圖像的濾波效果對比實驗。實驗中，在對紅外人臉圖像進行引導濾波處理時，當濾波窗口半徑r=4、約束項正則化參數(shù) ε=0.22，在較好邊緣保持效果的前提下，信噪比值最大，測試比較圖像結果如圖4 所示。

圖4 圖像濾波處理效果對比Fig. 4 Comparison of image filtering processing effect

通過圖4 幾種濾波方法處理后的圖像對比，可以發(fā)現(xiàn)，原始Canny 算法高斯濾波后的圖像，邊緣信息模糊嚴重；中值濾波后的圖像整體穩(wěn)定性表現(xiàn)不好；雙邊濾波雖有效去除了噪聲，但邊緣保持效果仍有待提升；原始的未添加約束因子的引導濾波處理后的圖像，在部分區(qū)域出現(xiàn)了過度平滑；本文引入邊緣點數(shù)目閾值約束因子的引導濾波算法處理后的圖像，在強化邊緣特征方面的性能表現(xiàn)，優(yōu)于其他幾種濾波算法處理后的圖像，為后續(xù)的邊緣輪廓提取提供了較好的基礎。同時，對比未進行邊框剪裁和進行邊框剪裁的紅外人臉圖像的濾波效果，可明顯看到邊框剪裁后的紅外人臉圖像有效地規(guī)避了邊框等冗余信息的干擾，在實現(xiàn)邊緣增強的同時，顯著降低了圖像的噪聲。

3.1.2 濾波算法客觀評價指標對比實驗

為了更客觀地對比幾種濾波算法的效果，本文使用圖像處理領域常用的評價指標信噪比PSNR（peak signal to noise radio）和結構 相 似度SSIM[19]（structural similarity）2 個指標對比分析了原始圖像和濾波處理后的圖像信息，用來評價本文改進的引導濾波算法的濾波性能。為了增強濾波對比實驗的可靠性，對圖像處理領域經(jīng)典的測試圖像Lena做了對比濾波實驗，Lena 圖像大小為256×256 像素，本文實驗是給輸入的原始Lena 圖像添加方差為0.03 的加性噪聲，構成含噪聲的圖像，再進行濾波實驗對比。限于文章篇幅，只展示了測試圖像Lena的量化實驗結果，如表2、表3 所示為幾種濾波方法處理后圖像的PSNR 和SSIM 對比結果。

表2 測試圖像濾波結果PSNR 對比Table 2 PSNR comparison of test image filtering results dB

表3 測試圖像濾波結果SSIM 對比Table 3 SSIM comparison of test image filteringresults %

通過分析幾種濾波方法處理后圖像的PSNR和SSIM 結果可以得出：本文改進的引導濾波算法對于紅外人臉圖像和Lena 圖像的信噪比和結構相似度表現(xiàn)均優(yōu)于其他幾種濾波算法。對于未裁剪的紅外人臉圖像，改進后的引導濾波算法相較于未改進的引導濾波算法，其信噪比均值提升了10.95%，相較于Canny 算法原始的高斯濾波提升了34.40%；結構相似度均值相較于未改進的引導濾波算法提升了9.02%，相較于原始Canny 算法中的高斯濾波提升了21.66%；同時對比同一張紅外人臉圖像進行邊框裁剪和未進行邊框裁減濾波處理后的信噪比與結構相似度，可以清晰地看到，裁剪邊框后的紅外人臉圖像，其信噪比和結構相似度明顯高于未進行邊框裁剪的紅外人臉圖像。

3.2 紅外人臉圖像邊緣輪廓提取實驗結果與分析

為了驗證本文算法的紅外人臉邊緣輪廓提取效果，分別采用文獻[9]、文獻[10]、文獻[11]、原始的Canny 算法和本文改進后的Canny 算法對紅外人臉圖像進行了邊緣輪廓提取對比實驗。如圖5、圖6 所示，為利用幾種邊緣檢測算法提取原始紅外人臉圖像和經(jīng)過邊框裁剪后的紅外人臉圖像邊緣輪廓實驗結果。

圖5 部分紅外人臉圖像邊緣輪廓提取對比實驗結果Fig. 5 Experimental results of edge contour extraction comparison from partial infrared face images

圖6 部分剪裁紅外人臉邊緣輪廓提取對比實驗結果Fig. 6 Experimental results of edge contour extraction comparison from partial clipping infrared face images

通過分析幾種方法的紅外人臉圖像邊緣輪廓提取結果，可以得到：傳統(tǒng)Canny 算法提取的紅外人臉邊緣輪廓存在較多的偽邊緣，文獻[9]、文獻[10]、文獻[11]的邊緣輪廓檢測方法有效去除了紅外人臉圖像的偽邊緣特征，但損失了較多的真實邊緣，其中文獻[9] 的方法邊緣特征丟失最為嚴重。綜合對比可以看出本文改進后的算法不僅有效去除了紅外人臉圖像的偽邊緣特征，同時較完整地保持了真實的邊緣輪廓特征。對于紅外人臉圖像進行邊框裁剪后再進行邊緣輪廓提取性能對比，和未進行剪裁的紅外人臉圖像基本表現(xiàn)一致，但有效減少了冗余信息的干擾。

為了客觀地評價本文的紅外人臉圖像邊緣輪廓提取效果，通過邊緣檢測效果評價指標優(yōu)質系數(shù)[20]PFOM來對實驗結果進行定量分析，優(yōu)質系數(shù)PFOM的公式如下：

式中：IL代表理想邊緣像素點數(shù)量；IS代表實際提取的邊緣像素點數(shù)量； δ為調節(jié)系數(shù)，其值為常數(shù)1 /9；di代 表第i個實際提取的邊緣點到與之距離最近的真實邊緣點之間的法線距離；PFOM∈(0,1)值越大，代表檢測結果越好。為盡可能減小數(shù)據(jù)誤差，本文對經(jīng)幾種不同邊緣檢測算法處理的未剪裁和剪裁后的紅外人臉圖像邊緣輪廓提取結果的PFOM值做了取均值處理。如圖7、圖8 所示為利用文獻[9]、文獻[10]、文獻[11]、原始的Canny 算法和本文改進后的Canny 算法對未剪裁和剪裁后的紅外人臉圖像邊緣輪廓提取的PFOM均值對比。

圖7 未裁剪圖像不同邊緣檢測算法優(yōu)質系數(shù)對比Fig. 7 Comparison of quality coefficients of different edge detection algorithms for uncropped images

圖8 裁剪圖像不同邊緣檢測算法優(yōu)質系數(shù)對比Fig. 8 Comparison of quality coefficients of different edge detection algorithms for clipping images

對比用不同邊緣檢測算法對未裁剪的紅外人臉圖像邊緣輪廓提取的PFOM均值，可以得到本文算法提取紅外人臉圖像邊緣輪廓的PFOM均值為0.5664，相較于原始的Canny 算法優(yōu)質系數(shù)增加了0.3194，顯著提升了Canny 算法在紅外人臉圖像邊緣輪廓提取方面的性能；和其他方法中性能最好的文獻[11]相比，其優(yōu)質系數(shù)高了0.2219。裁剪后的圖像，其邊緣輪廓提取的優(yōu)質系數(shù)明顯高于未裁剪的圖像，因此在進行紅外人臉圖像邊緣輪廓提取之前可通過裁剪背景以減少冗余信息的干擾。

4 結論

本文致力于解決紅外人臉圖像中因其自身成像特點所致分辨率差、對比度低，在邊緣輪廓提取時易產(chǎn)生虛假輪廓邊緣的問題，基于改進經(jīng)典的Canny 邊緣檢測算法實現(xiàn)紅外人臉圖像邊緣輪廓提取。通過分析Canny 算法在紅外人臉邊緣輪廓提取時存在的局限性，對其進行了改進，提升了Canny 算法在紅外人臉圖像邊緣輪廓提取時的適應性。主要改進措施有：1） 將Canny 原始算法中的高斯濾波替換為引導濾波算法，并對引導濾波算法進行改進，引入“動態(tài)閾值約束因子”，使其不僅能夠有效降低紅外人臉圖像的噪聲，而且可以避免因過度平滑而丟失弱邊緣圖像特征；2） 對原始Canny 算法中的非極大抑制步驟進行了改進，在原始計算梯度方向的基礎上增加了22.5°、67.5°、112.5°、157.5°梯度方向，使得算法的極大值抑制插值較原始算法更加精細，降低了插值的隨意性；3） 基于改進OTSU 算法，通過構造灰度-梯度映射函數(shù)確定最佳閾值，彌補了原始OTSU 算法僅依靠圖像灰度信息確定最佳閾值不夠精確的問題，從而實現(xiàn)了對原始Canny 算法雙閾值確定方法的改進。最后利用公開的紅外光人臉圖像數(shù)據(jù)庫UTKIRIS 進行了仿真實驗，實驗結果表明，本文算法對于紅外人臉圖像邊緣輪廓提取有較好的性能表現(xiàn)，并且在進行邊緣輪廓提取前，對圖像進行邊框裁剪可以取得更佳的檢測效果。同時，由于紅外人臉圖像是一種具有代表性的紅外圖像數(shù)據(jù)，因此，本文紅外人臉圖像邊緣輪廓提取的算法思路也可以為其他紅外圖像邊緣輪廓檢測提供一定的參考。但受時間和精力關系，本文尚未對復雜背景下的紅外人臉圖像進行研究，這將是接下來的研究方向。