基于MSER的彈孔識(shí)別算法的研究

楊章含，曾培峰

(東華大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，上海 201620)

0 引言

科技的發(fā)展迎來了各行各業(yè)的技術(shù)革新。在軍事領(lǐng)域，傳統(tǒng)的人工報(bào)靶模式逐漸被自動(dòng)化報(bào)靶取代。自動(dòng)化報(bào)靶關(guān)鍵問題是彈點(diǎn)識(shí)別。通常訓(xùn)練的目標(biāo)靶采用胸環(huán)靶，為了正確區(qū)分胸環(huán)靶中彈孔和非彈孔，可將圖像處理中斑點(diǎn)檢測(cè)技術(shù)用于彈孔識(shí)別。

斑點(diǎn)檢測(cè)中，特征提取算法的優(yōu)劣直接影響檢測(cè)結(jié)果的精準(zhǔn)度。斑點(diǎn)檢測(cè)方法主要有以下三類[1]，(1)幀間差分法：通過兩幀背景相同的圖像相減獲取斑點(diǎn)。文獻(xiàn)[2]彈孔識(shí)別中，首先使用基準(zhǔn)點(diǎn)對(duì)圖像矯正，用中值濾波去除噪聲，然后用膨脹腐蝕操作定位靶心，將射擊前后的兩幀圖像進(jìn)行異或運(yùn)算，獲取新增彈孔。YE等人對(duì)失真圖像矯正后，膨脹腐蝕獲取胸環(huán)靶中心，采用Roberts邊緣檢測(cè)算子檢測(cè)胸環(huán)靶輪廓，通過幀間差獲取新增彈孔[3]。幀間差分法對(duì)背景變化敏感，胸環(huán)靶紙抖動(dòng)會(huì)導(dǎo)致較大的檢測(cè)誤差。(2)模板檢測(cè)法：計(jì)算模板核，將其用于圖像卷積，通過局部極值檢測(cè)斑點(diǎn)。KONG等人用高斯拉普拉斯(Laplacian of Gaussian，LoG)算子檢測(cè)斑點(diǎn)，隨著LoG算子尺度增加，斑點(diǎn)結(jié)構(gòu)在某種程度上收斂于局部極值[4]。文獻(xiàn)[5]采用高斯差分(Difference of Gaussian，DoG)算子檢測(cè)不同尺寸的斑點(diǎn)。DoG算子與LoG算子類似，運(yùn)算效率較高，對(duì)不同尺寸的斑點(diǎn)檢測(cè)更有優(yōu)勢(shì)。Ming等人使用Hessian行列式(Determinant of Hessian, DoH)檢測(cè)斑點(diǎn)，用二維高斯函數(shù)分別求解行、列坐標(biāo)方向的二階偏導(dǎo)，以及先行后列坐標(biāo)的二階偏導(dǎo)，用三個(gè)偏導(dǎo)算子生成的模板分別對(duì)原圖卷積，檢測(cè)圖像在不同尺度空間的極值點(diǎn)[6]。文獻(xiàn)[7]提出基于Hessian矩陣的LoG算子(Hessian-based Laplacian of Gaussian，HLoG)檢測(cè)斑點(diǎn)，使用Hessian矩陣預(yù)分割斑點(diǎn)候選區(qū)域，計(jì)算單一最佳尺度作為LoG濾波器的平滑參數(shù)檢測(cè)斑點(diǎn)，簡(jiǎn)化運(yùn)算復(fù)雜度，通過區(qū)域特征排除非斑點(diǎn)區(qū)域。模板檢測(cè)法中，運(yùn)算量與卷積核大小呈正相關(guān)，每個(gè)像素訪問次數(shù)為卷積核大小。對(duì)于尺寸不同的斑點(diǎn)，需使用不同的高斯核進(jìn)行卷積運(yùn)算，單一參數(shù)的算子不能覆蓋所有尺寸的彈孔。(3)MSER[8]檢測(cè)法：MSER算法常用于連通區(qū)域檢測(cè)(例如：斑點(diǎn)、文本等)，David在文獻(xiàn)[8]基礎(chǔ)上，提出線性復(fù)雜度的MSER算法，成為目前普遍采用的方法[9]。文獻(xiàn)[10]對(duì)圖像灰度處理后，采用MSER算法檢測(cè)斑點(diǎn)，通過最小二乘擬合橢圓排除不符合形狀要求的區(qū)域。Donoser等人在文獻(xiàn)[9]基礎(chǔ)上，提出檢測(cè)彩色區(qū)域的MSER算法[11]，將圖像轉(zhuǎn)換至LUV色彩空間，計(jì)算ROI之間的巴氏距離(Bhattacharyya Distance)，作為MSER中的約束值。

本文研究基于自然環(huán)境下胸環(huán)靶內(nèi)新增彈孔的識(shí)別。幀間差分法雖然算法簡(jiǎn)單，但對(duì)靶紙顫動(dòng)十分敏感。模板檢測(cè)法中，采用單尺度的LoG、DoG及DoH檢測(cè)彈孔可能無法檢測(cè)重合彈孔區(qū)域。采用多尺度方式，不僅運(yùn)算復(fù)雜度較高，而且可能將已經(jīng)檢測(cè)過的彈孔再次檢測(cè)。MSER算法常用于自然環(huán)境下連通區(qū)域的檢測(cè)，算法具有線性復(fù)雜度和仿射不變性的優(yōu)勢(shì)，因此本文采用MSER算法。針對(duì)MSER算法中參數(shù)隨圖像變化需要調(diào)整的問題，將MSER算法與文獻(xiàn)[12]中基于積分圖像的閾值自適應(yīng)算法相結(jié)合，提出改進(jìn)的MSER算法(MSER-I)，使MSER算法在不同環(huán)境下檢測(cè)彈孔時(shí)參數(shù)可自調(diào)節(jié)。通過透視變換[13]、彈孔特征及報(bào)靶記錄，排除胸環(huán)靶外部候選區(qū)域、非彈孔區(qū)域及已報(bào)靶區(qū)域，識(shí)別出新增的彈孔。

1 MSER算法

MSER算法基于分水嶺概念，將圖像視為高低起伏的地面，像素灰度值大小代表地勢(shì)高低，選取某一起始點(diǎn)開始注水，水會(huì)流入低地勢(shì)區(qū)域。當(dāng)水聚集到一個(gè)低洼區(qū)，繼續(xù)注水，水位會(huì)上升。當(dāng)水位越過分水線時(shí)，會(huì)流入其它低洼區(qū)，若水位繼續(xù)上升，兩個(gè)或兩個(gè)以上的低洼區(qū)可能被合并[8]。

水面覆蓋區(qū)域稱為ER區(qū)，在同一ER區(qū)水位上升過程中，低水位區(qū)為子ER區(qū)，高水位區(qū)為父ER區(qū)。一個(gè)父ER區(qū)可能由多個(gè)子ER區(qū)合并而成，父ER區(qū)與子ER區(qū)形成樹狀結(jié)構(gòu)，在樹中仍保持原有的父子關(guān)系。針對(duì)ER區(qū)水位上升的歷史記錄，通過參數(shù)約束保留符合要求的ER區(qū)。

MSER算法中，由以下5個(gè)參數(shù)約束ER區(qū)的大小及穩(wěn)定度：

(1)Amin：最小連通區(qū)域，限制ER區(qū)域最小尺寸。

(2)Amax：最大連通區(qū)域，限制ER區(qū)域最大尺寸。

(3)Vmax：區(qū)域間的最大穩(wěn)定度。

(4)Delta：相鄰ER區(qū)邊界的灰度差。

(5)Dmin：約束父子ER區(qū)之間的尺寸變化率。

MSER算法中，每一個(gè)ER區(qū)的增長變量var可由公式(1)計(jì)算得到。若某個(gè)ER區(qū)的var值小于Vmax，這個(gè)ER區(qū)則為穩(wěn)定區(qū)域。公式(1)中R(level)表示每個(gè)ER區(qū)灰度值小于等于level的像素點(diǎn)數(shù)。圖1為ER區(qū)截面處灰度曲線，示意ER區(qū)的大小。

(1)

圖1 連通域面積變化圖

MSER算法運(yùn)算步驟如下：

(1)選取起始點(diǎn)作為當(dāng)前點(diǎn)；

(2)建立空ER區(qū)將當(dāng)前點(diǎn)入棧；

(3)在當(dāng)前像素4鄰域內(nèi)搜索，若任意鄰域點(diǎn)灰度值低于當(dāng)前點(diǎn)灰度值，返回步驟(2)，否則，鄰域點(diǎn)加入邊界像素集合，重復(fù)步驟(3)，直至所有鄰域點(diǎn)訪問結(jié)束，執(zhí)行步驟(4)；

(4)若邊界像素集合為空，算法結(jié)束，否則執(zhí)行步驟(5)；

(5)彈出一個(gè)地勢(shì)最低的邊界像素，作為當(dāng)前點(diǎn)，原本的當(dāng)前點(diǎn)作為上一點(diǎn)，若當(dāng)前點(diǎn)與上一點(diǎn)的像素灰度值相同，執(zhí)行步驟(3)，否則執(zhí)行步驟(6)；

(6)若當(dāng)前點(diǎn)灰度小于棧中第二層像素元素灰度值，返回步驟(3)，否則執(zhí)行步驟(7)；

(7)將水位升高1，合并棧頂兩層的ER區(qū)，記錄水位升高歷史；

(8)若當(dāng)前點(diǎn)灰度大于棧頂元素灰度，返回步驟(6)，否則返回步驟(3)。

如圖2所示為MSER算法流程圖。

圖2 MSER算法執(zhí)行步驟

MSER算法無需對(duì)圖像平滑、增強(qiáng)等預(yù)處理，可直接實(shí)現(xiàn)多尺度連通區(qū)域檢測(cè)，具有較高的通用性。圖3為LoG、DoG、DoH以及MSER算法檢測(cè)彈孔的結(jié)果對(duì)比圖。圖3(a)為胸環(huán)靶原圖，圖3(b)采用單尺度的LoG算子檢測(cè)彈孔，圖3(c)采用多尺度的DoG算子檢測(cè)彈孔。圖3(b)與圖3(c)均采用3×3的高斯核對(duì)圖像卷積，在10環(huán)內(nèi)的彈孔及靶環(huán)外的彈孔均能較準(zhǔn)確地檢測(cè)出，但在其他環(huán)內(nèi)的彈孔檢測(cè)效果不太理想。圖3(d)采用DoH算子檢測(cè)彈孔，部分彈孔無法檢測(cè)出。圖3(b)、3(c)及3(d)已檢測(cè)的彈孔中，部分彈孔被重復(fù)檢測(cè)，如圖4所示。圖3(e)為MSER算法檢測(cè)彈孔的結(jié)果圖，文中將檢測(cè)的MSER區(qū)用淡色填充。彈孔均能被檢測(cè)出，只有一些靶環(huán)文字區(qū)域被誤檢，精確率較高。

圖3 不同算法彈孔檢測(cè)結(jié)果的對(duì)比圖

圖4 DoH算法重復(fù)彈孔檢測(cè)

由于狙擊訓(xùn)練中，圖像明暗會(huì)隨時(shí)間推移而改變，對(duì)于不同圖像，MSER算法中delta、Vmax值變化較大，為提升系統(tǒng)報(bào)靶性能及用戶體驗(yàn)，需要改進(jìn)MSER算法實(shí)現(xiàn)參數(shù)自適應(yīng)功能。

2 MSER-I—MSER改進(jìn)算法

根據(jù)MSER中參數(shù)變化的規(guī)律，結(jié)合基于積分圖像的閾值自適應(yīng)算法，提出了改進(jìn)的MSER算法(MSER-I)，使delta和Vmax可自適應(yīng)。其余3個(gè)參數(shù)中，Amax和Amin(彈孔尺寸參數(shù))根據(jù)彈孔尺寸確定。Dmin參數(shù)通過實(shí)驗(yàn)確定。經(jīng)反復(fù)實(shí)驗(yàn)得出Dmin取0.5 可較好地提取不同圖像中彈孔深色區(qū)域。

delta和Vmax分別描述ER區(qū)與其邊緣的灰度差值以及ER區(qū)的穩(wěn)定度，這兩個(gè)參數(shù)與胸環(huán)靶圖像的灰度對(duì)比度有密切的關(guān)系，胸環(huán)靶圖像對(duì)比度越高，彈孔與靶面的灰度差越大，彈孔區(qū)域穩(wěn)定度越高，因此可以將胸環(huán)靶與背景像素的平均灰度差值作為對(duì)比度參考。

2.1 基于積分圖像的對(duì)比度計(jì)算

積分圖像中任意像素的值為左上起始像素至當(dāng)前像素構(gòu)成的矩形區(qū)域內(nèi)灰度值之和。若需計(jì)算灰度圖中某區(qū)域內(nèi)像素灰度值之和，可對(duì)積分圖像查表，迅速獲取結(jié)果。積分圖像由式(2)計(jì)算，其中x代表行，y代表列，tij為灰度圖像中第i行、第j列像素的灰度值，I(x,y)為積分圖像中x行y列像素的值。圖5(a)是數(shù)字圖像中每個(gè)像素的灰度值，圖5(b)是積分圖像的像素值。

(2)

圖5 積分圖像矩陣

通過式(3)可計(jì)算任意矩形區(qū)域的灰度值之和sumGray。其中(x1,y1)是矩形區(qū)域內(nèi)左上起始像素位置，(x2,y2)是矩形區(qū)域右下終止像素位置。如圖6，D區(qū)域灰度值之和為9。

sumGray=I(x2,y2)-I(x2,y1-1)-I(x1-1,y2)+I(x1-1,y1-1)

(3)

圖6 積分圖像區(qū)域灰度值的和

基于積分圖像的對(duì)比度算法適用于光照不均或不同灰度范圍的圖像，將各像素與其周圍矩形區(qū)域像素的灰度值比較，獲取胸環(huán)靶與背景像素。算法將灰度圖中每個(gè)像素的灰度值curGray與其所在矩形區(qū)域內(nèi)的像素點(diǎn)數(shù)之和sum值相乘，將得到的結(jié)果與sumGray比較，若結(jié)果小于sumGray，當(dāng)前像素記為胸環(huán)靶像素，反之記為背景像素。i由式(4)確定，矩形區(qū)域長、寬均設(shè)定為原圖的1/8。

sum=(x2-x1+1)×(y2-y1+1)

(4)

區(qū)分胸環(huán)靶與背景像素后，計(jì)算胸環(huán)靶與背景像素的平均灰度差，表示圖像對(duì)比度，實(shí)現(xiàn)MSER算法中參數(shù)delta與Vmax自適應(yīng)。

2.2 MSER-I參數(shù)自適應(yīng)

本文在不同光照環(huán)境下，分別計(jì)算200幀圖像中胸環(huán)靶與背景像素的平均灰度差ε，并統(tǒng)計(jì)每幀圖像較理想的delta和Vmax取值。通過線性擬合與反比例曲線擬合，求解理想的delta、Vmax取值與ε的函數(shù)關(guān)系。圖7為delta(ε)的擬合直線，delta取值為整數(shù)，當(dāng)delta大于6時(shí)，彈孔檢測(cè)結(jié)果基本不變，因此將delta值限定為6，圖中虛線后方為分段函數(shù)delta=6。圖8為Vmax(ε)的擬合曲線，Vmax為浮點(diǎn)數(shù)，最大值為1.0， 圖中虛線前方為分段函數(shù)Vmax=1.0。

圖7 ε與delta函數(shù)關(guān)系

圖8 ε與Vmax函數(shù)關(guān)系

根據(jù)擬合曲線，ε與delta函數(shù)關(guān)系可以用式(5)表示，ε與Vmax函數(shù)關(guān)系可以用式(6)表示。

(5)

(6)

2.3 MSER-I彈孔尺寸參數(shù)的確定

參數(shù)Amax和Amin用于限定目標(biāo)彈孔區(qū)域的尺寸。由于在訓(xùn)練場(chǎng)合攝像頭放置的位置不固定，彈孔的尺寸(像素點(diǎn)數(shù))不確定，因此Amax和Amin需要根據(jù)實(shí)際場(chǎng)合調(diào)整。通過計(jì)算彈孔像素點(diǎn)數(shù)Sb與胸環(huán)靶區(qū)域像素點(diǎn)數(shù)Sc的比值k，作為彈孔尺寸的一致性指標(biāo)。彈孔像素點(diǎn)數(shù)Sb與胸環(huán)靶區(qū)域像素點(diǎn)數(shù)Sc可以通過試驗(yàn)獲取。如圖9所示，在胸環(huán)靶上取ABCDE特征點(diǎn)位置信息，假設(shè)經(jīng)過E點(diǎn)的胸環(huán)靶邊緣直線與BC平行，求解出胸環(huán)靶四邊形邊框的4個(gè)頂點(diǎn)坐標(biāo)信息，據(jù)此計(jì)算胸環(huán)靶區(qū)域像素點(diǎn)數(shù)Sc。并在攝像頭位置保持不變的情況下，對(duì)采集的圖像統(tǒng)計(jì)各彈孔區(qū)域像素點(diǎn)數(shù)Sb，將像素點(diǎn)數(shù)的分布情況進(jìn)行高斯擬合。

圖9 采集胸環(huán)靶圖像與標(biāo)準(zhǔn)胸環(huán)靶圖像映射

本文統(tǒng)計(jì)140個(gè)彈孔的像素點(diǎn)數(shù)，計(jì)算得出k值分布情況，如圖10所示，擬合的高斯分布均值μ為1.224×10-4，標(biāo)準(zhǔn)差σ為2.503×10-5。在本次試驗(yàn)中，Sc為593×577，根據(jù)3σ準(zhǔn)則，式(7)和(8)計(jì)算出Amin=15，Amax=69。

Amin=(μ-3σ)×Sc-1

(7)

Amax=「(μ+3σ)×Sc?+1

(8)

圖10 彈孔與胸環(huán)靶像素點(diǎn)數(shù)比例

執(zhí)行MSER-I算法后，對(duì)于檢測(cè)的彈孔候選區(qū)域，需進(jìn)一步判斷新增彈孔。

3 新增彈孔判斷

MSER-I算法在檢測(cè)彈孔候選區(qū)域時(shí)，會(huì)受到部分字符、靶環(huán)等非彈孔區(qū)域的干擾。對(duì)于候選彈孔區(qū)域，本文采用圖11所示流程辨別真假彈孔：(1)通過透視變換將圖9(a)中胸環(huán)靶內(nèi)彈孔候選區(qū)域像素映射至標(biāo)準(zhǔn)胸環(huán)靶圖9(b)，以此排除胸環(huán)靶外的彈孔候選區(qū)域。(2)MSER-I算法基于灰度圖，不同彈孔灰度差異較小，將彈孔灰度范圍作為評(píng)判標(biāo)準(zhǔn)。遍歷胸環(huán)靶內(nèi)每個(gè)彈孔候選區(qū)域，若候選彈孔的平均灰度值在彈孔灰度范圍內(nèi)，判為彈孔區(qū)域，否則為非彈孔區(qū)域，以此將胸環(huán)靶內(nèi)非彈孔區(qū)域排除。

圖11 識(shí)別真假彈孔流程圖

剩余的彈孔候選區(qū)域中，采用幀間差法排除MSER-I輸出的彈孔圖像已經(jīng)報(bào)靶的彈孔，并判斷是否有新增彈孔。本文使用胸環(huán)靶紙厚度為0.2 mm，風(fēng)力和子彈沖擊都會(huì)引起靶紙晃動(dòng)，同一彈孔在時(shí)間軸上不同圖像中的位置會(huì)有一定差異。將當(dāng)前彈孔區(qū)域依次與已報(bào)靶的彈孔區(qū)域比較，若彈孔像素重合率大于已報(bào)彈孔的70%，判定為同一彈孔，反之判為新增彈孔。

4 算法驗(yàn)證與分析

圖像處理中，評(píng)價(jià)一個(gè)算法好壞有兩個(gè)指標(biāo)：精準(zhǔn)度P(Precision)和召回率R(Recall)。精準(zhǔn)度反映了被判定為正例中真正的正例比重，召回率反映被判定的正例占總的正例的比重。例如圖像中有100個(gè)彈孔，算法檢測(cè)出120個(gè)候選域，其中80個(gè)是彈孔，40個(gè)不是彈孔，精準(zhǔn)度P為80/120，召回率R為80/100。據(jù)公式(9)，可用F這一指標(biāo)描述P、R，若P、R中任意一值偏小，F(xiàn)值都會(huì)較小，而F值越大，算法性能越好。以此作為本文算法評(píng)判指標(biāo)。

(9)

本文通過一組試驗(yàn)，評(píng)估MSER與MSER-I算法性能。圖12給出了不同光照環(huán)境下使用自適應(yīng)閾值的MSER-I彈孔檢測(cè)結(jié)果。

圖12 不同光照環(huán)境下MSER-I彈孔檢測(cè)

表1給出9組MSER與MSER-I算法的數(shù)據(jù)對(duì)比，由表可知，F(xiàn)值在MSER-I中有明顯提升，可見MSER-I算法相對(duì)更優(yōu)。

表1 MSER算法改進(jìn)前后數(shù)據(jù)對(duì)比

新增彈孔檢測(cè)結(jié)果如圖13所示，將新增彈孔內(nèi)所有像素根據(jù)透視變換矩陣映射至標(biāo)準(zhǔn)胸環(huán)靶中，并將映射后的像素求取環(huán)數(shù)平均值，作為彈孔環(huán)數(shù)。

試驗(yàn)結(jié)果表明，本文彈孔檢測(cè)精準(zhǔn)度為83.78%，召回率為100%，F(xiàn)值為91.18%。

圖13 自動(dòng)報(bào)靶部分結(jié)果圖

系統(tǒng)的時(shí)間指標(biāo)方面，攝像頭模塊傳輸圖像的幀率為30 fps。為進(jìn)一步提升算法效率，本文通過幀間差快速定位可能的彈孔區(qū)域，在定位的區(qū)域中執(zhí)行MSER-I，并根據(jù)上文提及的算法步驟識(shí)別新增彈孔，實(shí)際測(cè)試中，算法時(shí)延穩(wěn)定在28 ms，可較有效地處理攝像頭獲取的每幀圖像。

5 結(jié)束語

本文研究了基于MSER的彈孔識(shí)別算法，以改進(jìn)的MSER算法檢測(cè)彈孔候選區(qū)域，通過透視變換排除胸環(huán)靶外區(qū)域，根據(jù)彈孔尺寸、灰度等特征排除非彈孔區(qū)域，通過像素重合率排除已報(bào)靶的彈孔區(qū)域，識(shí)別新增彈孔。通過實(shí)踐驗(yàn)證，算法在自然環(huán)境下檢測(cè)新增彈孔，能夠滿足報(bào)靶的實(shí)時(shí)性。