基于YOLOV3改進(jìn)的虹膜定位算法

于哲舟, 劉 巖, 劉元寧

(1. 吉林大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 吉林 長春 130012; 2. 吉林大學(xué) 軟件學(xué)院, 吉林 長春 130012;3. 吉林大學(xué) 符號計(jì)算與知識(shí)工程教育部重點(diǎn)實(shí)驗(yàn)室, 吉林 長春 130012)

當(dāng)今最受歡迎的生物特征識(shí)別方式是虹膜識(shí)別[1-3],在整個(gè)虹膜識(shí)別系統(tǒng)流程中,虹膜定位環(huán)節(jié)處于核心位置,虹膜定位的準(zhǔn)確率對系統(tǒng)后期的識(shí)別產(chǎn)生重大影響.傳統(tǒng)的虹膜定位方法容易受到噪聲、睫毛遮擋等影響,導(dǎo)致定位不準(zhǔn)確,所提取到的信息很難在后期的特征識(shí)別中使用.YOLOV3模型在目標(biāo)檢測方面效果較好,采用這種基礎(chǔ)模型對虹膜兩個(gè)內(nèi)外邊界進(jìn)行定位,提高了定位準(zhǔn)確性.由于原始特征提取網(wǎng)絡(luò)DarkNet-53層數(shù)較少,不能提取到高質(zhì)量的虹膜特征.雖然能夠大大提高檢測速度,但準(zhǔn)確率很低;隨卷積神經(jīng)網(wǎng)絡(luò)中卷積層數(shù)的不斷加深,提取到的特征也會(huì)更為豐富,隨網(wǎng)絡(luò)層數(shù)不斷加深,導(dǎo)致網(wǎng)絡(luò)模型出現(xiàn)退化.退化主要是由于梯度消失導(dǎo)致網(wǎng)絡(luò)性能退化,同時(shí)由于虹膜圖像在采集時(shí)虹膜的大小也不盡相同.卷積神經(jīng)網(wǎng)絡(luò)經(jīng)過多次卷積之后,特征圖的尺寸會(huì)變得很小,所以檢測小目標(biāo)更加困難,無法更好利用虹膜圖片學(xué)習(xí)到虹膜語義特征,因此本文針對這些問題對虹膜定位模型作出改進(jìn)[4-8].

1 改進(jìn)的YOLOV3結(jié)構(gòu)

1.1 Densenet-121網(wǎng)絡(luò)模型

xl=Hl([x0,x1,…,xl-1]) .

(1)

式中:xl表示第l層的輸出;[x0,x1,…,xl-1]表示網(wǎng)絡(luò)的0,1,…,l-1層所輸出的特征圖級聯(lián)在一起.Densenet網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示.

圖1 Densenet網(wǎng)絡(luò)結(jié)構(gòu)

1.2 Non-local注意力機(jī)制

Non-local注意力機(jī)制的作用主要是用來對虹膜圖像重點(diǎn)區(qū)域進(jìn)行加強(qiáng),增強(qiáng)虹膜圖片學(xué)習(xí)到的語義特征,Non-local操作相當(dāng)于構(gòu)造了一個(gè)和特征圖譜尺寸一樣大的卷積核,從而可以維持更多信息. Non-local操作能夠直接從任意兩點(diǎn)間獲取到長距離的依賴信息,同時(shí)它也是一個(gè)易于集成的網(wǎng)絡(luò)模塊,虹膜特征信息提取是一種比較優(yōu)良的注意力機(jī)制實(shí)現(xiàn).Non-local的通用式為

(2)

式中:yi表示輸出;c(x)為歸一化因子;f(xi,xj)為計(jì)算i和j間的相似性;g(xj)為計(jì)算特征圖在j位置上的表示.Non-local注意力機(jī)制結(jié)構(gòu)[9-11]如圖2所示.

圖2 Non-local注意力機(jī)制結(jié)構(gòu)

1.3 輔助網(wǎng)絡(luò)

為進(jìn)一步增強(qiáng)小目標(biāo)虹膜學(xué)習(xí)到的語義特征,在改進(jìn)的YOLOV3虹膜定位算法中,使用復(fù)制殘余模塊的方式獲得輔助結(jié)構(gòu),擴(kuò)展整個(gè)特征提取網(wǎng)絡(luò),進(jìn)而優(yōu)化骨干網(wǎng)絡(luò).輔助網(wǎng)絡(luò)的規(guī)模要比骨干網(wǎng)絡(luò)小,與原始的YOLOV3剩余模塊相比,增加了輔助網(wǎng)絡(luò)的剩余模塊.在輔助網(wǎng)絡(luò)中使用較大的接收場,輔助網(wǎng)絡(luò)會(huì)將收集到的特征位置信息傳輸?shù)焦歉删W(wǎng)絡(luò)上,骨干網(wǎng)絡(luò)能夠更加準(zhǔn)確地學(xué)習(xí)目標(biāo)特征信息.在網(wǎng)絡(luò)中添加輔助網(wǎng)絡(luò)使整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)與高級或低級語義特征密切聯(lián)系,能夠有效提高網(wǎng)絡(luò)性能.輔助網(wǎng)絡(luò)結(jié)構(gòu)圖如圖3所示[12-13].

圖3 輔助網(wǎng)絡(luò)結(jié)構(gòu)圖

2 實(shí)驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)數(shù)據(jù)使用的是吉林大學(xué)自主采集的JLUIRIS-v6和JLUIRIS-v7兩代虹膜圖像,在虹膜庫中選擇2 238張經(jīng)過質(zhì)量評價(jià)挑選后的虹膜圖像作為本次實(shí)驗(yàn)的訓(xùn)練集和測試集.在進(jìn)行虹膜定位前要對虹膜圖像進(jìn)行預(yù)處理及標(biāo)注處理.本文所用的工具是labelImg,標(biāo)注過的每張圖片都生成關(guān)于虹膜的內(nèi)外圓目標(biāo)框的標(biāo)簽及其坐標(biāo)值的xml文件.經(jīng)過標(biāo)注的虹膜圖像如圖4所示.

圖4 虹膜圖像預(yù)處理

本文改進(jìn)實(shí)驗(yàn)的batchsize為8,一共訓(xùn)練80個(gè)epoch,圖片輸入大小為640×480.Densenet的權(quán)重在Imagenet上預(yù)訓(xùn)練完成.采用Adam優(yōu)化器,由于主干網(wǎng)絡(luò)已經(jīng)在Imagenet上預(yù)訓(xùn)練,因此,Densenet的學(xué)習(xí)率設(shè)置為0.000 1,網(wǎng)絡(luò)中其他模塊的學(xué)習(xí)率設(shè)置成0.001,學(xué)習(xí)率每30個(gè)epoch下降為原來的1/10.在進(jìn)行了40個(gè)epoch后,采用多尺度的訓(xùn)練方式,隨機(jī)將圖片的尺度放大或者縮小來增強(qiáng)模型的尺度不變性.本文采用了隨機(jī)亮度、隨機(jī)對比度、圖片翻轉(zhuǎn)及圖片模糊等數(shù)據(jù)增強(qiáng)的方式.激活層使用leakey relu激活函數(shù).所有的實(shí)驗(yàn)都是在一個(gè)單獨(dú)的1 080 ti上完成,訓(xùn)練時(shí)間為6 h.對于每一個(gè)錨點(diǎn),根據(jù)實(shí)際數(shù)據(jù)設(shè)置了9個(gè)錨點(diǎn)框,大小為 [(10,13),(16,30),(33,23),(30,61),(62,45),(59,119),(116,90),(156,198),(373,326)],對于與真實(shí)框的IOU大于0.7的錨點(diǎn)框,將其設(shè)置成正樣本,IOU小于0.3的錨點(diǎn)框設(shè)置成負(fù)樣本,IOU在0.3～0.7之間的樣本不作計(jì)算.在Non-local模塊中,放縮系數(shù)r設(shè)置為2.測試時(shí),NMS非極大值抑制的閾值設(shè)置為0.4,物體的置信度閾值設(shè)置為0.75[14-15].

改進(jìn)的模型結(jié)構(gòu)圖如圖5所示.

圖5 改進(jìn)模型的結(jié)構(gòu)圖

改進(jìn)模型的參數(shù)如表1所示.

3 實(shí)驗(yàn)結(jié)果分析

可視化結(jié)果如圖6所示.使用Densenet特征提取網(wǎng)絡(luò)的矩形可視化結(jié)果如圖6a所示,使用Darknet特征提取模型的可視化結(jié)果如圖6b所示.

圖6 可視化結(jié)果

表1 改進(jìn)模型的參數(shù)

由于目標(biāo)檢測模型中的標(biāo)定框和得到的預(yù)測框都是基于直角坐標(biāo)系下的矩形框體,根據(jù)虹膜內(nèi)圓、外圓的幾何特征,虹膜定位要求輸出的是橢圓形的定位框.根據(jù)得到的矩形框體輸出橢圓形的標(biāo)注框,最終本文系統(tǒng)得到的虹膜內(nèi)外圓定位結(jié)果的可視化圖像如圖7所示.可知本文模型的內(nèi)外圓定位效果.

圖7 模型最終可視化圖像

與未改進(jìn)的算法相比,本文模型訓(xùn)練效果有了顯著提升,同時(shí)loss曲線下降的趨勢更加平緩,本文改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練集的損失函數(shù)圖像如圖8所示.由各層loss曲線可知,本文模型能很快逼近曲線中損失函數(shù)的最小值,收斂速度快,所以能更好更快地?cái)M合虹膜數(shù)據(jù)集.

YOLOV3虹膜圖像只需要定位出2種類別的物體,即虹膜的內(nèi)圓和外圓邊界.在傳統(tǒng)Daugman模型中,虹膜定位精確率為95.6%,Wilde模型定位精確率為95.3%,基于Darknet的YOLOV3模型定位精確率為92.4%,本文中通過優(yōu)化的模型精確率為97.1%.PR曲線如圖9所示,各模型評價(jià)指標(biāo)對比如表2所示.

圖8 損失函數(shù)圖

圖9 PR曲線圖

表2 各模型評價(jià)指標(biāo)對比

4 結(jié) 論

1) Darknet本身所特有的優(yōu)勢是速率較快,但它的特征提取能力差,容易出現(xiàn)退化現(xiàn)象.經(jīng)過改進(jìn)的YOLOV3網(wǎng)絡(luò)將特征提取模塊換成優(yōu)良的特征提取模型Densenet-121,并添加了復(fù)制網(wǎng)絡(luò)及Non-local注意力機(jī)制增強(qiáng)學(xué)習(xí)到的語義特征,著重感興趣區(qū)域,即使是小目標(biāo)虹膜也能夠?qū)W習(xí)到大量的特征信息,測試結(jié)果的精確率達(dá)到97.1%.

2) 本文模型在虹膜定位上超越了傳統(tǒng)虹膜定位算法精確率方面的各項(xiàng)評價(jià)指標(biāo).