基于視頻圖像處理的彈孔檢測(cè)提取算法研究?

柳華林 姚立波 張立民 黃友澎 王海鵬

（1.海軍航空大學(xué) 煙臺(tái) 264001）（2.武漢數(shù)字工程研究所 武漢 430074）

1 引言

隨著軍隊(duì)改革的持續(xù)深入，我軍信息化程度不斷提高，實(shí)彈化訓(xùn)練的頻率和強(qiáng)度也達(dá)到新的高度。在射擊領(lǐng)域，由于自動(dòng)報(bào)靶能夠有效克服傳統(tǒng)人工報(bào)靶所存在的人為誤報(bào)、工作量大、安全性低等缺點(diǎn)［1］，滿足現(xiàn)代化部隊(duì)訓(xùn)練要求，提高官兵訓(xùn)練水平，因此面臨越來越大的需求［2］。

目前，有關(guān)自動(dòng)報(bào)靶系統(tǒng)的研究成果很多［3～5］，基于視頻圖像處理的相關(guān)算法也層出不窮［6］，但大多停留在整體系統(tǒng)設(shè)計(jì)，具體到系統(tǒng)的各個(gè)方面，多經(jīng)不起實(shí)際靶場(chǎng)環(huán)境的考驗(yàn)。就當(dāng)前時(shí)刻彈孔的檢測(cè)提取而言，多建立在彈孔成形狀況理想和靶紙抖動(dòng)等外界因素影響輕微的前提下，沒有對(duì)彈孔提取面臨的復(fù)雜實(shí)際情況進(jìn)行分析，更少對(duì)彈孔的共性特征加以總結(jié)和利用。例如，對(duì)比彈孔生成前后靶圖的彩色數(shù)據(jù)信息差異［7］、設(shè)置閾值優(yōu)化“差影”［8］、前后靶圖幀差結(jié)果應(yīng)用形態(tài)學(xué)方法去除干擾［9］、運(yùn)用彈孔形成前后靶紙的顏色變化［10］以及彈孔的灰度值最低特征［11］等方法在實(shí)際靶場(chǎng)環(huán)境下都無法做到當(dāng)前時(shí)刻彈孔的精確檢測(cè)提取。此外，多集中于單張視頻幀的研究，致使成果僅滿足一類或幾類彈孔的檢測(cè)提取，不具有普適性。

本文基于靶場(chǎng)實(shí)地考察和真實(shí)打靶視頻的研究，分析彈孔提取制約性難題，提出一種區(qū)域二值化的彈孔粗檢測(cè)算法，實(shí)現(xiàn)當(dāng)前視頻幀彈孔的全部檢測(cè)提取。以此為基礎(chǔ)，從彈孔特性融合的角度出發(fā)，以彈孔的不可逆性為核心，彈孔檢測(cè)提取分區(qū)域進(jìn)行為手段，融合彈孔和干擾特性，設(shè)計(jì)了基于視覺模型的當(dāng)前時(shí)刻彈孔檢測(cè)提取算法。經(jīng)真實(shí)打靶視頻驗(yàn)證，該算法能夠依次全部檢測(cè)提取視頻中當(dāng)前時(shí)刻上靶的彈孔，速度快且抗干擾性、普適性強(qiáng)。

2 彈孔檢測(cè)提取主要問題分析

通過對(duì)真實(shí)打靶視頻的實(shí)驗(yàn)分析，現(xiàn)將彈孔檢測(cè)提取實(shí)際問題和技術(shù)難點(diǎn)總結(jié)如下：

1）靶場(chǎng)光照環(huán)境。緩慢變化光照干擾的去除一直是視頻圖像處理領(lǐng)域的瓶頸。當(dāng)前時(shí)刻彈孔的檢測(cè)提取需要幀差操作，變化的光照環(huán)境必然帶來干擾。實(shí)驗(yàn)發(fā)現(xiàn)，存在光照變化引起的干擾和子彈上靶引起的靶紙變化相似，極易被誤檢為彈孔。此外，在干擾去除方面，由于各視頻幀所處的光照環(huán)境不同，難以設(shè)計(jì)通用的算法將此干擾徹底去除。

2）靶紙抖動(dòng)。子彈上靶的沖擊力以及風(fēng)等外力因素使靶紙存在抖動(dòng)現(xiàn)象。靶紙位置的輕微偏移導(dǎo)致幀差法無法準(zhǔn)確檢測(cè)彈孔同時(shí)帶來大量干擾。同樣，靶紙抖動(dòng)具有隨機(jī)性，無法通過圖像配準(zhǔn)技術(shù)將靶紙環(huán)線等部分配準(zhǔn)，也無法設(shè)計(jì)有效方法將抖動(dòng)干擾去除。

3）靶紙制作工藝。靶紙質(zhì)量參差不齊，靶面極易出現(xiàn)色彩深淺不一和深色點(diǎn)狀、塊狀區(qū)域等印刷不均勻情況。實(shí)驗(yàn)發(fā)現(xiàn)，存在靶紙上的這些干擾和彈孔的色彩或大小相近。在光照變化和靶紙抖動(dòng)的影響下易產(chǎn)生類似彈孔的干擾，影響彈孔的檢測(cè)提取工作。

4）彈孔成形狀況。如圖1所示，實(shí)際的靶紙上并不全是清晰且類似圓形的彈孔。會(huì)出現(xiàn)靶紙未脫落，隨外力條件在彈孔處做有規(guī)律運(yùn)動(dòng)；子彈穿過靶紙生成印記而未形成彈孔，使彈孔引起的響應(yīng)微弱和所處背景區(qū)別度??；由于子彈和靶紙摩擦消除了靶紙顏色，致使彈孔灰度值升高等現(xiàn)象。

圖1 靶紙圖

3 彈孔特性分析

本文在實(shí)驗(yàn)分析基礎(chǔ)上總結(jié)彈孔規(guī)律特性，現(xiàn)對(duì)彈孔的形狀大小、色彩屬性和不可逆性進(jìn)行特性分析如下。

3.1 形狀大小

彈孔由子彈迅速穿透靶紙而成，形狀不規(guī)則呈類圓狀弱小暗斑［12］，直徑在確定的閾值之間，主要取決于彈孔的成形狀況。

通過彈孔的形狀大小進(jìn)行檢測(cè)提取即利用子彈上靶前后兩幀圖像進(jìn)行差分，將彈孔和干擾檢測(cè)出來，并將大小在閾值內(nèi)的圓形或類似區(qū)域判定為彈孔。這種方法條件苛刻，一是打靶視頻中不能有類似彈孔形狀大小的干擾出現(xiàn)，滿足幀差結(jié)果中彈孔和干擾有明顯差別；二是彈孔必須清晰完整，如此才能準(zhǔn)確實(shí)現(xiàn)彈孔檢測(cè)。

3.2 色彩屬性

彈孔的顏色通常偏深，因彈孔成形狀況而有所不同。如圖1所示，白色靶面彈孔的色彩屬性跟所處背景有明顯區(qū)別；墨綠色靶面彈孔的色彩屬性受彈孔成形狀況影響大：清晰完整的彈孔近乎黑色，亮度等屬性值低于背景；靶紙未脫落的彈孔色彩屬性和背景區(qū)別度低；因摩擦而消除顏色的不完整彈孔，色彩屬性值往往高于背景靶紙。

利用彈孔的色彩特性主要是利用彈孔和背景靶紙?jiān)陬伾炼鹊确矫娴牟煌Ｔ摲椒▽?duì)靶紙制作工藝和彈孔成形狀況要求較高，整個(gè)靶面不能存在和彈孔色彩屬性相似的干擾。

3.3 不可逆性

子彈一旦上靶必然留下痕跡，且不可逆。無論彈孔成形狀況如何，一直到打靶結(jié)束彈孔都將顯示于靶上。

靶場(chǎng)環(huán)境下除彈孔外其他因素必然不斷變化，理論上依據(jù)此特性可以準(zhǔn)確的檢測(cè)提取彈孔。當(dāng)子彈上靶后的視頻幀數(shù)取無窮大時(shí)，彈孔可以被唯一確定。因算法可行性和時(shí)效性要求，該值不能過大，因此彈孔的檢測(cè)提取仍受到干擾的影響。

4 基于視覺模型的彈孔檢測(cè)提取算法

通過彈孔檢測(cè)提取主要問題和彈孔特性的詳細(xì)分析，彈孔的三個(gè)特性在其檢測(cè)提取方面各具優(yōu)勢(shì)和局限性，無法僅依靠某一特性將視頻中彈孔依次全部檢測(cè)提取出來。經(jīng)過對(duì)各部分難點(diǎn)的詳細(xì)分析，本文提出了基于視覺模型的彈孔檢測(cè)提取算法。算法整體流程如圖2所示。

圖2 算法流程圖

視覺模型以彈孔的不可逆性為核心，利用彈孔特性的融合準(zhǔn)確實(shí)現(xiàn)當(dāng)前時(shí)刻彈孔的檢測(cè)提取，具體分為三部分：靶紙區(qū)域二值化、彈孔粗提取和彈孔精細(xì)化。

4.1 靶紙區(qū)域二值化

靶紙區(qū)域二值化是整個(gè)視覺模型的基礎(chǔ)工作，實(shí)現(xiàn)視頻幀中全部彈孔和背景分割，并盡量減少干擾的引入。二值化［13］方法很多但不具普適性，核心在于閾值T的確定。理想狀態(tài)下彈孔灰度值較背景靶紙低，以靶紙灰度值最小值為閾值即可實(shí)現(xiàn)全部彈孔的分割。由彈孔的色彩屬性知，存在彈孔的灰度值高于所處背景，如圖3、圖4所示，通過設(shè)置全局閾值無法實(shí)現(xiàn)彈孔的全部檢測(cè)提取。進(jìn)一步對(duì)整個(gè)視頻幀采用多閾值方法分割彈孔，根據(jù)彈孔的色彩屬性設(shè)置三閾值，則背景區(qū)域?yàn)棣?(T1＜f(x ，y) ＜T2)|(f(x ，y )＞T3)。其中，f(x ，y)為靶紙灰度圖，T1、T2為墨綠色靶面灰度最低值和最高值、T3為白色靶面灰度最低值。二值化結(jié)果如圖5所示，結(jié)合圖1知存在彈孔沒有被清晰檢測(cè)出來。選取未被清晰檢測(cè)的彈孔1（見圖1）和彈孔4（見圖1）進(jìn)行灰度分析，彈孔1和彈孔4的灰度值范圍分別是 88～219 和 51～159，背景區(qū)域?yàn)棣?(60＜f(x ，y )＜124)|(f(x ，y) ＞129)?？梢钥吹剑嬖趶椏缀捅尘皡^(qū)域的灰度值嚴(yán)重重疊，因此多閾值設(shè)置無法實(shí)現(xiàn)彈孔全部分割。

本文從問題分解的角度出發(fā)，采用區(qū)域二值化的方法實(shí)現(xiàn)全部彈孔的檢測(cè)。白色靶面彈孔的灰度值大部分小于其背景，通過設(shè)置全局閾值即可實(shí)現(xiàn)區(qū)域內(nèi)彈孔的全部檢測(cè)。 f(x ，y)為靶紙圖像灰度圖，閾值處理后的二值圖像g(x，y)定義為［16］

圖10為閾值T=0.63時(shí)二值化結(jié)果圖，該區(qū)域全部彈孔被有效分割出來。

圖3 靶紙?jiān)瓐D

圖4 全局閾值彈孔提取

圖5 多閾值彈孔提取

圖6 墨綠色靶面二值化算法流程圖

墨綠色靶面同時(shí)存在灰度值大于和小于背景靶紙的彈孔，采用雙閾值的方法將區(qū)域內(nèi)全部彈孔和背景進(jìn)行分割。由于靶紙上存在瑕疵和彈孔的灰度值相近，導(dǎo)致彈孔灰度值在墨綠色靶面灰度值范圍之間，因此不能直接選取墨綠色靶面灰度范圍的最值為閾值。本文在墨綠色靶面和彈孔直方圖分析的基礎(chǔ)上提出了一種墨綠色靶面的二值化方法，有效檢測(cè)該區(qū)域的全部彈孔。算法流程如圖6所示。

墨綠色靶面掩模圖和灰度圖如圖7、圖8所示。墨綠色靶面灰度值統(tǒng)計(jì)分析即首先不同灰度值的像素?cái)?shù)進(jìn)行順序排序，然后以最大像素?cái)?shù)為起始，逆序依次取大于該像素?cái)?shù)的灰度值的像素?cái)?shù)并求和，直至像素?cái)?shù)和占全部像素?cái)?shù)的99%，如圖9所示，將對(duì)應(yīng)的灰度值集范圍的最值作為二值化閾值T1、T2。閾值處理后生成的墨綠色靶面區(qū)域二值圖g(x ，y)由下式給出：

其中，f(x，y)為靶紙圖像灰度圖，如圖11所示，將墨綠色靶面的彈孔被全部檢測(cè)提取出來。

圖7 墨綠色靶面掩模

圖8 區(qū)域灰度圖

圖9 灰度值統(tǒng)計(jì)分析圖

4.2 彈孔粗提取

彈孔粗提取部分是整個(gè)視覺模型的關(guān)鍵，實(shí)現(xiàn)當(dāng)前時(shí)刻彈孔的粗提取。該部分以彈孔的不可逆性為核心，運(yùn)用當(dāng)前幀與其后N幀圖像進(jìn)行差影運(yùn)算［14］，并將結(jié)果融合以消除不斷變化的干擾，函數(shù)如下：

其中，A(x ，y )、B(x ，y)為二值圖像。

圖10 白色靶面二值圖

圖11 墨綠色靶面二值圖

由于彈孔形成后具有不可逆性，因此當(dāng)前時(shí)刻的彈孔得以有效保留，取N次結(jié)果融合實(shí)現(xiàn)在保留彈孔的同時(shí)抑制不斷變化的干擾。理論上N的值足夠大，可以直接將彈孔從干擾中檢測(cè)提取出來。實(shí)際中，N的值應(yīng)根據(jù)時(shí)效性要求和對(duì)干擾的抑制程度選擇，使干擾不具有和彈孔相似的特征，為彈孔精細(xì)化奠定基礎(chǔ)。

下面分別就白色靶面和墨綠色靶面的彈孔粗提取部分進(jìn)行結(jié)果分析。

選取白色靶面的彈孔（圖1彈孔1）和墨綠色靶面的彈孔（圖1彈孔5）進(jìn)行實(shí)驗(yàn)結(jié)果分析如下。

圖12和圖14為前后兩幀的幀差結(jié)果，圖13和圖15分別為N=10和N=24時(shí)的彈孔粗提取結(jié)果。由結(jié)果可知，白色靶面中干擾被嚴(yán)重削弱，和彈孔大小類似的干擾被不斷分解為較小的干擾，同時(shí)彈孔的原貌得到很好的保留。墨綠色靶面中，雖然變化的干擾被嚴(yán)重削弱，但是由于靶紙區(qū)域二值化的原因，彈孔原貌受到一定影響的同時(shí)環(huán)線邊緣也產(chǎn)生較多干擾。此時(shí)需要N取更大的值才能達(dá)到白色靶面中的效果。

圖12 白色靶面幀差圖

圖13 彈孔粗提取結(jié)果

圖14 墨綠色靶面幀差圖

圖15 彈孔粗提取結(jié)果

4.3 彈孔精細(xì)化

彈孔精細(xì)化部分是將當(dāng)前時(shí)刻的彈孔從彈孔粗提取結(jié)果中精確的檢測(cè)提取。本文在干擾共性分析基礎(chǔ)上通過融合彈孔大小等特性就不同靶紙區(qū)域彈孔粗提取結(jié)果的特點(diǎn)同時(shí)采用形態(tài)學(xué)處理手法［15］分別設(shè)計(jì)通用的彈孔精確化算法，確保在N取值一致的前提下實(shí)現(xiàn)當(dāng)前時(shí)刻彈孔的精確提取。本文主要采用形態(tài)學(xué)處理中基礎(chǔ)的膨脹和腐蝕運(yùn)算［16］。數(shù)學(xué)上，膨脹定義為集合運(yùn)算。A被B膨脹記為A⊕B，定義為

腐蝕的數(shù)學(xué)定義與膨脹類似，A被B腐蝕記為A?B，定義為

其中，?為空集，B為結(jié)構(gòu)元素。

白色靶面的彈孔粗提取中N取較小值時(shí)干擾就得到迅速抑制，且與彈孔存在明顯區(qū)別，因此該區(qū)域的彈孔精細(xì)化通過彈孔形狀大小特征的約束輔以形態(tài)學(xué)處理手法即可實(shí)現(xiàn)彈孔的精確提取，結(jié)果如圖16所示。

圖16 白色靶面彈孔精細(xì)化結(jié)果

墨綠色靶面的彈孔精細(xì)化過程相對(duì)復(fù)雜，包括環(huán)線干擾去除和殘余小干擾去除兩部分。環(huán)線干擾去除部分通過利用墨綠色靶面掩模提取結(jié)果，如圖8所示，與彈孔粗提取結(jié)果進(jìn)行融合，消除環(huán)線干擾同時(shí)將彈孔凸顯出來。殘余小干擾去除則是利用彈孔大小等特性進(jìn)行最后篩選，確保精確提取彈孔。結(jié)果如圖17所示。通過真實(shí)打靶視頻驗(yàn)證，本方法在N取值一致的前提下完全能夠?qū)崿F(xiàn)當(dāng)前時(shí)刻墨綠色靶面部分的彈孔精確檢測(cè)提取。

圖17 墨綠色靶面彈孔精 細(xì)化結(jié)果

5 實(shí)驗(yàn)結(jié)果展示

經(jīng)真實(shí)打靶視頻驗(yàn)證，本文提出的基于視覺模型的當(dāng)前時(shí)刻彈孔檢測(cè)提取算法精確有效且具有良好的時(shí)效性，完全能夠達(dá)到自動(dòng)報(bào)靶系統(tǒng)的要求。提取視頻中的彈孔如圖18～圖27所示。

圖18 彈孔1

圖19 彈孔2

圖20 彈孔3

圖21 彈孔4

圖23 彈孔6

圖24 彈孔7

圖25 彈孔8

圖26 彈孔9

圖27 彈孔10

6 結(jié)語

本文基于自動(dòng)報(bào)靶系統(tǒng)中當(dāng)前時(shí)刻彈孔檢測(cè)提取部分展開研究，通過實(shí)際問題和彈孔特性的仿真實(shí)驗(yàn)與分析，排除理論可行但靶場(chǎng)實(shí)際難以實(shí)現(xiàn)的算法，并在此基礎(chǔ)上以彈孔的不可逆性為核心提出了基于視覺模型的當(dāng)前時(shí)刻彈孔檢測(cè)提取算法。分析靶紙二值化特點(diǎn)，提出靶紙區(qū)域二值化思路，并設(shè)計(jì)墨綠色靶面的二值化算法，實(shí)現(xiàn)視頻幀上彈孔的全部粗略提取工作。分區(qū)域進(jìn)行當(dāng)前時(shí)刻彈孔粗提取和彈孔精細(xì)化，提出墨綠色靶紙區(qū)域的精細(xì)化方法，實(shí)現(xiàn)了N值較小情況下的彈孔精確提取，保證了算法的可行性和時(shí)效性。經(jīng)真實(shí)打靶視頻驗(yàn)證，該算法可以準(zhǔn)確的將當(dāng)前時(shí)刻的彈孔依次識(shí)別出來，速度快且抗干擾能力強(qiáng)。

特殊情況下，即彈孔位于白色和墨綠色靶面的面積相同時(shí)，存在同一彈孔被兩個(gè)靶紙區(qū)域分別檢測(cè)提取的情況。由于子彈上靶的時(shí)空對(duì)應(yīng)關(guān)系，同一彈孔不會(huì)被重復(fù)保留。當(dāng)然，此算法仍有不足之處，算法建立在彈孔不可逆性的基礎(chǔ)上，必然需要當(dāng)前幀之后的視頻幀進(jìn)行操作，數(shù)量可以控制在10幀以內(nèi)時(shí)間不足0.5s，可滿足正常的點(diǎn)射報(bào)靶需要。對(duì)于連射的自動(dòng)報(bào)靶以及實(shí)時(shí)報(bào)靶，需在打靶視頻的基礎(chǔ)上作進(jìn)一步的分析。