一種機(jī)器視覺的冰雹檢測(cè)方法

李 鵬，丁倩雯，嵇佳麗，張思煒

（1.南京信息工程大學(xué) 江蘇省氣象探測(cè)與信息處理重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210044；2.南京信息工程大學(xué) 江蘇省大氣環(huán)境與裝備技術(shù)協(xié)同創(chuàng)新中心，江蘇 南京 210044；3.南京信息工程大學(xué)濱江學(xué)院，江蘇 無錫 214105）

冰雹是一種常見的氣象災(zāi)害，因其突發(fā)性強(qiáng)、沖擊性大，常對(duì)人們的經(jīng)濟(jì)造成損失和給生活帶來不便?，F(xiàn)階段對(duì)冰雹的識(shí)別預(yù)測(cè)主要有經(jīng)驗(yàn)預(yù)測(cè)、閃電定位、衛(wèi)星云圖、雷達(dá)回波反射等方法，但是從圖像方面對(duì)冰雹的檢測(cè)研究尚屬空白，且通過雷達(dá)識(shí)別系統(tǒng)進(jìn)行冰雹檢測(cè)的方法依然會(huì)存在一定的誤差。隨著機(jī)器視覺和數(shù)字圖像處理在機(jī)器人導(dǎo)航、智能視頻監(jiān)控、工業(yè)檢測(cè)、航空航天等諸多領(lǐng)域的快速發(fā)展應(yīng)用，給冰雹的檢測(cè)提供了新的角度。M.Sardogan 等建立了一個(gè)用于自動(dòng)特征提取和分類的CNN 模型，結(jié)合LVQ 算法將部分的輸出特征輸送到相應(yīng)的網(wǎng)絡(luò)中訓(xùn)練以識(shí)別番茄病害；M.B.Asad 等將路標(biāo)圖片從RGB 顏色空間轉(zhuǎn)換到HSV 顏色空間并進(jìn)行路標(biāo)二值化，然后通過計(jì)算連通分量矩陣行列的最大值與最小值之差來提取路標(biāo)目標(biāo)，最后應(yīng)用模板匹配的方法來進(jìn)行目標(biāo)的識(shí)別；M.Z.Alom 等提出了一種用于目標(biāo)識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)，利用初始網(wǎng)絡(luò)和遞歸卷積層相結(jié)合的能力，提高整體訓(xùn)練和測(cè)試的準(zhǔn)確性。

鄭一力等運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)，結(jié)合遷移學(xué)習(xí)的方法，在Alex Net 和Inception V3 的框架下對(duì)植物葉片圖片進(jìn)行識(shí)別，識(shí)別準(zhǔn)確率較高。祝保林等提出了一種基于機(jī)器視覺的小桐子種子識(shí)別算法，對(duì)小桐子種子優(yōu)劣品質(zhì)進(jìn)行識(shí)別分類，準(zhǔn)確率達(dá)到96%左右。因此本文從機(jī)器視覺對(duì)冰雹進(jìn)行檢測(cè)，為冰雹檢測(cè)提供了一個(gè)新的角度，有利于提高識(shí)別效率，降低人工識(shí)別的誤差，減少人工的損耗；與醫(yī)學(xué)上的“切片”后驗(yàn)類似，對(duì)冰雹的面積、周長(zhǎng)等進(jìn)行測(cè)量，有利于后續(xù)的冰雹粒徑分析，為冰雹災(zāi)害評(píng)估提供有效依據(jù)；與雷達(dá)檢測(cè)等方法相結(jié)合，將進(jìn)一步提高冰雹預(yù)防和檢測(cè)能力，對(duì)減輕農(nóng)業(yè)災(zāi)害、保障人民的生產(chǎn)和生活、促進(jìn)經(jīng)濟(jì)發(fā)展和社會(huì)穩(wěn)定具有積極意義。

1 方 法

氣象部門一般將冰雹放置在均勻涂滿黑色的板子上以此實(shí)現(xiàn)冰雹的人工測(cè)量，過程繁瑣且檢測(cè)效率不高。本文提出一種基于機(jī)器視覺的冰雹識(shí)別與分類算法，在準(zhǔn)確識(shí)別和測(cè)量冰雹的前提下提高人工測(cè)量的效率，節(jié)省時(shí)間成本。本文系統(tǒng)的實(shí)現(xiàn)步驟如圖1 所示。

圖1 步驟圖

首先，搭建一個(gè)冰雹圖像采集平臺(tái)；其次，結(jié)合圖像處理技術(shù)對(duì)采集到的冰雹圖像進(jìn)行預(yù)處理，衰減圖像噪聲，增強(qiáng)圖像信息；根據(jù)目標(biāo)圖像和背景圖像在顏色上的差異，對(duì)冰雹圖像進(jìn)行初步分割；判斷冰雹間是否粘連，應(yīng)用改進(jìn)的分水嶺算法對(duì)粘連部分分割；結(jié)合冰雹的顏色特征和形狀特征，對(duì)分割后的冰雹圖像進(jìn)行特征提取和分析；利用Relief?F 算法篩選出權(quán)重最大的特征參數(shù)；構(gòu)建支持向量機(jī)（SVM）對(duì)冰雹和非冰雹圖像識(shí)別分類；最后，對(duì)識(shí)別效果進(jìn)行分析，并對(duì)方法做進(jìn)一步的改進(jìn)，提高準(zhǔn)確率。

2 冰雹圖像處理與特征提取

2.1 圖像采集

目前并沒有完善的關(guān)于冰雹圖像的數(shù)據(jù)庫，本文的圖像數(shù)據(jù)主要來源于兩個(gè)方面：一方面通過模擬人工降雹得到訓(xùn)練集，另一方面將采集到的真實(shí)場(chǎng)景下的冰雹圖片作為測(cè)試集。如圖2 所示，搭建一個(gè)圖像采集平臺(tái)，為了盡量減少圖像采集過程中拍攝角度帶來的誤差，將相機(jī)與地面的高度設(shè)置為恒定。本文采集室外幾種常見背景下的冰雹圖片，包括不同粒徑、不同程度的冰雹圖像，如圖3 所示。

圖2 圖像采集平臺(tái)

圖3 冰雹原圖

2.2 圖像處理

從采集到的冰雹圖片來看，冰雹與其他背景部分相比具有明顯的顏色特征，但在實(shí)際場(chǎng)景中會(huì)出現(xiàn)大面積的粘連、堆積，不利于檢測(cè)。目前，對(duì)粘連圖像的分割方法主要有基于閾值的分割方法、基于邊緣的分割方法和基于分水嶺的分割方法。

基于閾值的分割方法和基于邊緣的分割方法運(yùn)算簡(jiǎn)單，運(yùn)行速度快，但分割的效果依賴于閾值選擇和邊緣定位結(jié)果。另外，冰雹的粘連部分具有相似的特征，單憑某一方法難以準(zhǔn)確分割。而分水嶺方法是處理粘連圖像最常用的方法之一，基本思想是把圖像中各點(diǎn)像素灰度值表示成該點(diǎn)的海拔高度，通過高度的不同可將整幅圖像劃分成若干個(gè)區(qū)域，每個(gè)區(qū)域都有其灰度極小值，在模擬注水的過程中，水面慢慢地從山底向山頂擴(kuò)展，隨著水位的上升，為了阻止區(qū)域的合并，在各個(gè)匯水盆地之間修建一個(gè)“堤壩”形成分水嶺，從而將整個(gè)拓?fù)涞孛卜指畛扇舾蓞^(qū)域。令，，…，M為梯度圖像（，）的局部極小值，，，…，C為與之對(duì)應(yīng)匯水盆地中所有坐標(biāo)集合；C[]為階段C的集合，[]表示所有C[]的集合；和代表著圖像（，）中灰度值的最小值與最大值，則有：

令[]為所有匯水盆地的集合，則有：

隨著水位以整數(shù)從=+1 到=+1 遞增時(shí)，若設(shè)[]為位于平面（，）=以下點(diǎn)的集合，根據(jù)算法[]中的坐標(biāo)點(diǎn)將會(huì)被標(biāo)記成黑色，其他的坐標(biāo)點(diǎn)將會(huì)被標(biāo)記成白色，形成一幅二值圖片。算法設(shè)定選取[+1]=[+1]，然后進(jìn)入遞歸調(diào)用的階段，根據(jù)階段的[-1]來求解[]。設(shè)為[]連通分量，則對(duì)于連通分量，有三種情況：

1）?[-1]=?；

2）?[-1]包 含[-1]中 的 一 個(gè) 連 通分量；

3）?[-1]包 含[-1]中 的 多 個(gè) 連 通分量。

當(dāng)新的極小值產(chǎn)生并滿足情況1）時(shí)，將[]與[-1]合并；若滿足情況2），則將[]與[-1]相應(yīng)的部分合并；若滿足情況3），則在[]中構(gòu)建分水嶺，阻止匯水盆地的結(jié)合。

在真實(shí)圖像中，由于噪聲點(diǎn)或其他因素的干擾，若直接對(duì)冰雹圖像使用分水嶺算法常存在嚴(yán)重的過分割現(xiàn)象，使得分割不存在意義。因此，本文針對(duì)冰雹提出一種改進(jìn)的分水嶺算法。算法流程如圖4 所示。

圖4 改進(jìn)的分水嶺算法

步驟1：對(duì)采集到的冰雹圖像運(yùn)用RGB 模型濾除復(fù)雜的背景，如圖5 所示。

圖5 濾除背景

步驟2：結(jié)合形態(tài)學(xué)濾波去除分割后多余的噪聲，保證冰雹邊緣的完整性，二值化結(jié)果如圖6 所示。

圖6 二值化圖

步驟3：對(duì)二值化圖像進(jìn)行距離變換，即對(duì)圖像中每個(gè)像素點(diǎn)到最近的非零像素點(diǎn)之間距離的運(yùn)算。歐氏距離計(jì)算公式為：

式中：(,)和(,)分別為前后景像素點(diǎn)的坐標(biāo)。將圖像中每個(gè)連通域的內(nèi)部像素點(diǎn)到非內(nèi)部像素點(diǎn)最短距離構(gòu)成的集合定義為(,)，Min，Max 為集合(,)中的最小值和最大值，(,)為連通域中每個(gè)內(nèi)部像素點(diǎn)經(jīng)過距離變換對(duì)應(yīng)的灰度值，則歐氏距離變換的公式為：

步驟4：對(duì)距離變換后的圖像進(jìn)行形態(tài)學(xué)處理，以抑制多余的偽極小值點(diǎn)。

步驟5：對(duì)步驟4 得到的圖像進(jìn)行形態(tài)學(xué)混合開閉重建尺度空間和梯度修正。

步驟6：對(duì)變換后的冰雹圖像應(yīng)用分水嶺變換。分水嶺分割結(jié)果如圖7、圖8 所示。其中，圖7 是整體分割結(jié)果，圖8 為截取分割后的圖像并將連通域編號(hào)后的結(jié)果。從圖8 可以看出：大部分冰雹粘連部分得到有效的分割，且形狀和大小基本保持不變，在實(shí)際降雹過程中冰雹并不會(huì)呈現(xiàn)如圖7a）所示的規(guī)則圓形，大部分情況如圖7b），c）所示，呈現(xiàn)大量不規(guī)則形狀。

圖7 分水嶺分割圖

圖8 分水嶺分割截取圖

2.3 特征提取

在降雹過程中，由于冰雹融化或受到?jīng)_擊破損，其平面形狀并不是標(biāo)準(zhǔn)的圓形，且冰雹的顏色經(jīng)過光的折射反射后并不是單純的白色，其中也會(huì)夾雜部分雜質(zhì)，單從其中一方面考慮的話，準(zhǔn)確率不高。因此，本文對(duì)分割后的冰雹圖像分別從形狀、顏色兩個(gè)方面進(jìn)行特征提取，形狀特征包括冰雹的面積、周長(zhǎng)、長(zhǎng)軸長(zhǎng)度、短軸長(zhǎng)度、圓形度、離心率、HU 矩、密集度等；顏色特征包括分量、分量、分量、分量、分量、分量。其中，冰雹的面積、周長(zhǎng)、長(zhǎng)軸長(zhǎng)度、短軸長(zhǎng)度均通過統(tǒng)計(jì)像素法進(jìn)行測(cè)量。實(shí)際提取的冰雹的15 個(gè)特征參數(shù)見表1。

表1 特征參數(shù)表

3 識(shí)別與分類

3.1 Relief?F 算法

Relief 算法是一種特征權(quán)重算法，最早由Kira 提出以實(shí)現(xiàn)兩類數(shù)據(jù)的分類問題，Kononeil 對(duì)其進(jìn)行拓展，得到Relief?F 算法，可以處理多類別問題。鑒于特征的維度將直接影響到檢測(cè)效率，本文應(yīng)用Relief?F 算法，每次從冰雹的訓(xùn)練樣本集中隨機(jī)取出一個(gè)樣本，然后從與同類的樣本集中找出的個(gè)近鄰樣本，從每個(gè)樣本的不同類的樣本集中均找出個(gè)近鄰樣本，然后更新每個(gè)特征的權(quán)重。特征的權(quán)重值是篩選特征的重要依據(jù)，本文利用Relief?F 算法對(duì)提取的所有特征進(jìn)行篩選，選取特征權(quán)重前5 的特征作為分類器最終的輸入。權(quán)重結(jié)果表示，對(duì)識(shí)別冰雹與非冰雹影響最大的前5 個(gè)權(quán)重分別為顏色空間的分量、分量、分量、分量以及圓形度。氣象部門根據(jù)一次降雹中，多數(shù)冰雹（一般冰雹）直徑、降雹累計(jì)時(shí)間和積雹厚度，將冰雹分為輕雹、中雹和重雹。由于本文是對(duì)采集后的冰雹圖像進(jìn)行處理，無法從冰雹的圖像中得知降雹的持續(xù)時(shí)間，因而本文暫未考慮降雹時(shí)間的影響。從權(quán)重結(jié)果來看，對(duì)判斷冰雹屬于輕雹、中雹、重雹影響最大的前5 個(gè)權(quán)重分別為密集度、單個(gè)冰雹的面積、短軸長(zhǎng)、周長(zhǎng)以及圓形度。

3.2 支持向量機(jī)分類模型

實(shí)驗(yàn)計(jì)算機(jī)配置：Windows 10 操作系統(tǒng)，8 GB 內(nèi)存，2.50 GHz CPU，Matlab 2019a。具體步驟：

1）對(duì)數(shù)據(jù)集進(jìn)行背景濾除、形態(tài)學(xué)濾波、二值化、粘連分割和邊緣檢測(cè)等操作，分割出目標(biāo)區(qū)域；

2）特征提取，針對(duì)性地提取冰雹的顏色特征以及形狀特征；

3）將人工模擬降雹的圖片作為訓(xùn)練集，將采集到的真實(shí)場(chǎng)景下的冰雹圖片作為測(cè)試集，分類方式選擇一對(duì)一，學(xué)習(xí)器設(shè)置為SVM，將提取的特征作為SVM 的特征輸入，選取高斯核函數(shù)作為核函數(shù)，采用十字交叉驗(yàn)證對(duì)分類性能進(jìn)行估計(jì)。由于此方法需要對(duì)懲罰系數(shù)和高斯核函數(shù)自帶參數(shù)進(jìn)行確定，為最大限度地提高驗(yàn)證精度，使用網(wǎng)絡(luò)搜索方法對(duì)參數(shù)進(jìn)行優(yōu)化處理，將，變化范圍設(shè)置為-10~10 進(jìn)行遍歷搜索。建立二分類SVM 進(jìn)行冰雹與非冰雹的識(shí)別，當(dāng)=0.25，=0.176 8 時(shí)的SVM 對(duì)冰雹與非冰雹的識(shí)別準(zhǔn)確率最高達(dá)97.50%，平均準(zhǔn)確率達(dá)95.00%；同時(shí)建立多分類SVM 進(jìn)行冰雹的分類，當(dāng)=0.25，=2 時(shí)的SVM 對(duì)冰雹的粒徑大小分類準(zhǔn)確率最高達(dá)93.50%，平均準(zhǔn)確率為90.25%。冰雹與非冰雹的樣本總數(shù)和準(zhǔn)確率分別見表2、表3。

表2 冰雹識(shí)別結(jié)果

表3 冰雹分類結(jié)果

4 結(jié) 語

針對(duì)氣象部門人工檢測(cè)冰雹費(fèi)時(shí)費(fèi)力等問題，本文提出一種基于機(jī)器視覺的冰雹檢測(cè)方法，實(shí)驗(yàn)結(jié)果表明該方法具有一定的有效性。在接下來的工作中，為了進(jìn)一步提高冰雹分類的準(zhǔn)確率，將進(jìn)一步擴(kuò)大樣本數(shù)據(jù)集，尤其是不規(guī)則冰雹的數(shù)據(jù)集；進(jìn)一步研究對(duì)實(shí)時(shí)監(jiān)控中的冰雹進(jìn)行檢測(cè)，為冰雹的災(zāi)后評(píng)估提供有效的數(shù)據(jù)支撐，以減少冰雹災(zāi)害帶來的經(jīng)濟(jì)損失。