二分粒度聚類(lèi)和KELM 的全景圖像火焰識(shí)別研究

段鎖林，任云婷，潘禮正，王一凡

（1.常州大學(xué)機(jī)器人研究所，江蘇 常州 213164；2.常州紡織服裝職業(yè)技術(shù)學(xué)院機(jī)電工程學(xué)院，江蘇 常州 213164）

1 引言

針對(duì)現(xiàn)有滅火機(jī)器人視覺(jué)系統(tǒng)中的云臺(tái)攝像機(jī)不能在同一時(shí)刻得到360°范圍的圖像，只能應(yīng)用于低實(shí)時(shí)性場(chǎng)合這一問(wèn)題，改用大視野且實(shí)時(shí)性好的全景攝像機(jī)。針對(duì)全景圖像的目標(biāo)提取的一般方法是先將全景圖像展開(kāi)并校正，然后對(duì)圖像中的目標(biāo)物進(jìn)行提取。如文獻(xiàn)[1]用梯度算子從展開(kāi)矯正后的全景圖像中提取目標(biāo)，但矯正后的圖像存在信息缺失且實(shí)時(shí)性差。直接對(duì)未展開(kāi)的全景圖像進(jìn)行火焰提取，減少信息處理時(shí)間，利用全景圖像的內(nèi)部結(jié)構(gòu)關(guān)聯(lián)進(jìn)行聚類(lèi)獲得KELM 訓(xùn)練樣本，從而更有效地提取出結(jié)果。

針對(duì)火焰識(shí)別，實(shí)則就是圖像分割?；鹧孀铒@著的靜態(tài)特征是顏色，文獻(xiàn)[2-3]中的火焰識(shí)別算法在顏色模型基礎(chǔ)上對(duì)其進(jìn)行聚類(lèi)分析從而進(jìn)行火焰識(shí)別。在對(duì)含有大量數(shù)據(jù)信息的圖像進(jìn)行聚類(lèi)分析，雖有一定識(shí)別率，但耗時(shí)太長(zhǎng)，實(shí)時(shí)性差。文獻(xiàn)[4-5]采用聚類(lèi)預(yù)先篩選樣本，再用優(yōu)化的支持向量機(jī)來(lái)分割圖像提取目標(biāo)，與單用聚類(lèi)分析分割圖像相比，分割精度有一定的提升，但效果不是很理想，因此研究尋找相應(yīng)且合適的算法對(duì)全景圖像的分割具有很大的意義。極限學(xué)習(xí)機(jī)具有學(xué)習(xí)速度快、泛化性能好和良好的全局尋優(yōu)能力[6]，但將核極限學(xué)習(xí)機(jī)（Kernel Extreme Learning Machine，KELM）應(yīng)用到全景圖像分割這一方向的文獻(xiàn)很少。

根據(jù)以上問(wèn)題，提出一種經(jīng)改進(jìn)聚類(lèi)算法優(yōu)化后的核極限學(xué)習(xí)機(jī)分類(lèi)方法，對(duì)具有復(fù)雜背景的全景圖像中的火焰進(jìn)行分割提取。這種方法建立在抗光照干擾的顏色模型上，在前期聚類(lèi)算法下得出優(yōu)化的樣本，將優(yōu)化后的樣本參數(shù)輸進(jìn)KELM 進(jìn)行訓(xùn)練，最后通過(guò)訓(xùn)練好的KELM 分析提取目標(biāo)。仿真結(jié)果得出，本算法不僅能準(zhǔn)確快速提取出全景圖像中的火焰區(qū)域而且也能提取出其它類(lèi)復(fù)雜背景圖像中的火焰區(qū)域，具有廣泛適用性、實(shí)時(shí)性以及光照魯棒性。

2 滅火機(jī)器人視覺(jué)系統(tǒng)

2.1 視覺(jué)系統(tǒng)介紹

現(xiàn)有機(jī)器人視覺(jué)系統(tǒng)采用的是云臺(tái)攝像機(jī)采集現(xiàn)場(chǎng)環(huán)境的圖像，其通過(guò)單個(gè)鏡頭的旋轉(zhuǎn)來(lái)擴(kuò)大視野范圍，使得原視覺(jué)系統(tǒng)設(shè)計(jì)較為復(fù)雜，實(shí)時(shí)性較差。將實(shí)時(shí)性好、視野廣的全景攝像機(jī)取代原有云臺(tái)攝像機(jī)，優(yōu)化原有機(jī)器人視覺(jué)系統(tǒng)，優(yōu)化后的機(jī)器人視覺(jué)系統(tǒng)示意，如圖1 所示。

圖1 機(jī)器人視覺(jué)系統(tǒng)示意框圖Fig.1 Graphical Block Diagram of the Robot Vision System

該視覺(jué)系統(tǒng)就是對(duì)機(jī)器人視野區(qū)先用全景攝像頭進(jìn)行圖像數(shù)據(jù)信息采集，將采集的信息經(jīng)由無(wú)線模塊傳輸?shù)缴衔粰C(jī)，然后在上位機(jī)系統(tǒng)中用改進(jìn)聚類(lèi)算法優(yōu)化過(guò)的核極限學(xué)習(xí)機(jī)進(jìn)行圖像信息處理獲取火焰信息，最后將火焰目標(biāo)信息輸出到滅火機(jī)器人進(jìn)行下一步的滅火操作。

2.2 全景圖像成像原理

一張全景圖片可以擁有360°的圖像信息，其成像原理[7]，如圖1 所示。A 為入射光線中的點(diǎn)，B 為成像面中的點(diǎn)。凸面鏡鏡面坐標(biāo)系中任一點(diǎn)為（r，z），凸面鏡視點(diǎn)為O（0，0），攝像機(jī)的焦點(diǎn)為p（0，c），凸面鏡視點(diǎn)到攝像機(jī)焦點(diǎn)的距離為c，攝像機(jī)的焦距為f。

光線經(jīng)由鏡頭前凸面鏡，反射入CCD 攝像機(jī)成像面成像。以凸面鏡的視點(diǎn)為坐標(biāo)原點(diǎn)，系統(tǒng)中的透視成像攝像機(jī)滿足針孔成像這一模型，因此入射光線經(jīng)過(guò)鏡面反射后經(jīng)過(guò)焦點(diǎn)p，并成像于成像面，即圖2 中世界坐標(biāo)系中點(diǎn)A 變換到成像平面坐標(biāo)系中點(diǎn)B 的過(guò)程[7]。

圖2 全景成像原理圖Fig.2 Panorama Imaging Schematic

全景攝像機(jī)一次獲取的圖像范圍較大，因此會(huì)造成圖像中物體存在一定的畸變。全景圖像中的火焰靜態(tài)特征中形狀特征可能會(huì)產(chǎn)生變形，但是顏色特征卻是不變的。因此對(duì)全景圖像的火焰識(shí)別主要是基于顏色特征來(lái)進(jìn)行圖像處理的?？朔h(huán)境光干擾和保證圖像穩(wěn)定性，是火焰識(shí)別的關(guān)鍵，所以選擇一種不受光照變化影響的顏色模型顯得尤為重要。

3 二分粒度聚類(lèi)算法

3.1 顏色模型的建立

最常用的是RGB 模型，但RGB 模型比較容易受到光照變化的影響。Lab 顏色模型由三個(gè)分量組成，L 表示的是亮度信息，a和b 表示色彩信息。在Lab 模型下數(shù)據(jù)處理速度與RGB 模型同樣快，考慮到火焰識(shí)別實(shí)時(shí)性要求高，因此選擇建立Lab 模型。

RGB 模型不能直接轉(zhuǎn)換到Lab 顏色模型，需要經(jīng)過(guò)XYZ 顏色空間過(guò)渡[8]。

3.2 Lab 模型下顏色分量的聚類(lèi)分析

聚類(lèi)是一種無(wú)監(jiān)督學(xué)習(xí)的分類(lèi)方法，有著類(lèi)內(nèi)相似，類(lèi)間相別的效果[9]。全景攝像機(jī)因其視角范圍廣，從而得到的全景圖像背景就很復(fù)雜。在圖像背景復(fù)雜且提取目標(biāo)較小的情況下，直接用普通的閾值分割或是邊緣提取方法效果很不理想，但聚類(lèi)方法很適用。

3.2.1 K-means 聚類(lèi)的缺陷

K-means 是劃分方法中最經(jīng)典和基礎(chǔ)的聚類(lèi)算法。該聚類(lèi)算法核心思想是依據(jù)誤差平方和準(zhǔn)則通過(guò)不斷迭代和調(diào)整聚類(lèi)中心，使得聚類(lèi)結(jié)果更為合理。

該算法的優(yōu)點(diǎn)是運(yùn)算速度快，計(jì)算簡(jiǎn)便，對(duì)大數(shù)據(jù)集效率較高。但其不足之處是需事先指定聚類(lèi)數(shù)目K，而且初始聚類(lèi)中心的選取對(duì)結(jié)果有較大影響。

針對(duì)K-means 需事先指定聚類(lèi)數(shù)目K 這一缺陷引入粒度計(jì)算，通過(guò)粒度計(jì)算得到樣本間的相似度函數(shù)。根據(jù)樣本點(diǎn)的不同特點(diǎn)，選擇相應(yīng)的粒度空間進(jìn)行分析，來(lái)確定聚類(lèi)數(shù)K。在最佳聚類(lèi)數(shù)的聚類(lèi)下加入二分思想和粒度計(jì)算，通過(guò)Between-Within Proportion 即BWP 聚類(lèi)指標(biāo)的評(píng)價(jià)利用，優(yōu)化初始聚類(lèi)中心。

3.2.2 粒度計(jì)算下的聚類(lèi)算法思想

K=（X，A）表示聚類(lèi)空間，X 是樣本集，A 是屬性集合。根據(jù)粒度概念[10-11]，更新樣本相似度函數(shù)S（xi，xj）來(lái)表示樣本xi，xj之間的相似度。

算法流程如下：

（1）根據(jù)式（4）計(jì)算樣本間的相似度

（2）設(shè)定閾值，得到每個(gè)樣本的顆粒結(jié)構(gòu)。若相似度大于閾值，則樣本間的模糊相似矩陣M 記為1，反之為0。

（3）將樣本按M 進(jìn)行歸類(lèi)，得到最大聚類(lèi)數(shù)K。

3.2.3 BWP 聚類(lèi)指標(biāo)

BWP 是類(lèi)間與類(lèi)內(nèi)聚類(lèi)的雙重評(píng)價(jià)指標(biāo)，用于綜合評(píng)價(jià)類(lèi)間類(lèi)內(nèi)距離，其值越大，則聚類(lèi)效果越好。

令K=｛X，R｝為聚類(lèi)空間，假設(shè)n 個(gè)樣本被聚類(lèi)為c 個(gè)類(lèi)，則b（j，i）為第j 類(lèi)的第i 個(gè)樣本的最小類(lèi)間距，表示該樣本到其他每個(gè)類(lèi)中樣本平均距離的最小值；w（j，i）為第j 類(lèi)的第i 個(gè)樣本的類(lèi)內(nèi)距，表示該樣本到第j 類(lèi)中其他所有樣本的平均距離。具體公式表達(dá)如下：

3.2.4 二分粒度聚類(lèi)算法與步驟

根據(jù)K-means 算法的不足，將粒度概念引入，獲得樣本間的相似度函數(shù)，利用模糊相似矩陣M 進(jìn)行樣本劃分得到聚類(lèi)數(shù)目K。在此基礎(chǔ)上，利用粒子密度優(yōu)化得到初始聚類(lèi)中心。在劃分過(guò)程中，用二分法降低K-means 算法的使用次數(shù)，加速樣本劃分運(yùn)算，通過(guò)BWP 聚類(lèi)指標(biāo)評(píng)價(jià)獲得最佳聚類(lèi)結(jié)果。算法步驟具體如下：

（1）根據(jù)計(jì)算樣本間相似度，按矩陣按M 進(jìn)行歸類(lèi)得到K；

（2）引入粒子密度概念計(jì)算所有樣本點(diǎn)的距離比vi；

（3）選擇使vi最小的點(diǎn)為初始聚類(lèi)中心xi；

（4）選擇離xi最遠(yuǎn)的點(diǎn)為第二個(gè)聚類(lèi)中心，對(duì)簇進(jìn)行K=2 的K-means 聚類(lèi)，將簇一分為二；

（5）根據(jù)式（7）計(jì)算樣本BWP 值，選擇使BWP 值最大的那個(gè)簇，對(duì)其返回第四步繼續(xù)進(jìn)行下一步，直至簇的數(shù)目等于K，輸出聚類(lèi)結(jié)果。

圖3 二分粒度聚類(lèi)算法簡(jiǎn)化流程圖Fig.3 BGKM Clustering Algorithm Simplified Flow Chart

3.3 二分粒度聚類(lèi)算法應(yīng)用于全景圖像

將全景圖像從RGB 顏色模型轉(zhuǎn)換成Lab 模型，在Lab 模型中提取色度分量a 和b 作為二分粒度聚類(lèi)（Bisecting GranularKMeans，BGKM）的輸入特征參數(shù)，輸出為目標(biāo)的分類(lèi)。將a 和b 分量作為一組樣本數(shù)據(jù)，分別對(duì)其用K-Means 聚類(lèi)算法和BGKM 算法進(jìn)行圖像處理，并對(duì)輸出結(jié)果進(jìn)行分析，如圖4、圖5 所示。圖4（b）、圖4（c）是圖4（a）分別在K-Means 和二分粒度聚類(lèi)算法下的聚類(lèi)得出的疑似火焰區(qū)域。圖4（b）、圖4（c）兩圖可以看出這兩種算法對(duì)全景圖像中火焰區(qū)域提取是有效的，圖4（c）的提取效果比圖4（b）效果好，提取的疑似火焰區(qū)域更為細(xì)致，噪聲更少。圖5（b）中的4 個(gè)聚類(lèi)中心之間距離比圖5（a）中的4 個(gè)聚類(lèi)中心之間的距離大，由此可看出這是二分粒度聚類(lèi)對(duì)初始聚類(lèi)中心進(jìn)行優(yōu)化后的結(jié)果。對(duì)比圖6（a）、圖6（b）目標(biāo)函數(shù)的變化圖，發(fā)現(xiàn)二分粒度聚類(lèi)算法下的目標(biāo)函數(shù)值是逐漸變小，直至最小，變化穩(wěn)定。而K-Means 算法下的目標(biāo)函數(shù)值變化是比較波折的，不太穩(wěn)定。

圖5 a、b 分量在兩種算法下的聚類(lèi)分布圖Fig.5 Clustering Distribution of a and b Components under Two Algorithms

圖6 在兩種算法下的目標(biāo)函數(shù)變化圖Fig.6 Objective Function Change Graph under Two Algorithms

分析表1 中數(shù)據(jù)得出，BGKM 算法聚類(lèi)效果優(yōu)于K-Means算法聚類(lèi)效果，且運(yùn)算時(shí)間也少于K-Means 算法。

表1 兩種算法聚類(lèi)數(shù)據(jù)分析Tab.1 Analysis of Clustering Data of Two Algorithms

4 二分粒度聚類(lèi)算法與KELM 的結(jié)合

4.1 核極限學(xué)習(xí)機(jī)

極限學(xué)習(xí)機(jī)作為一種單隱含層前饋網(wǎng)，被廣泛地應(yīng)用于分類(lèi)、識(shí)別領(lǐng)域[12-13]，成為機(jī)器學(xué)習(xí)領(lǐng)域研究的熱點(diǎn)。其算法流程[14]如下：設(shè)N=｛（xi，ti）|xi∈Rn，ti∈Rm｝為訓(xùn)練樣本集合，隱含層神經(jīng)元的激活函數(shù)為g（x），隱含層節(jié)點(diǎn)數(shù)為L(zhǎng)。

（1）隨機(jī)生成輸入權(quán)值wi和偏置bi；

（2）計(jì)算隱含層輸出矩陣H；

（3）計(jì)算輸出權(quán)值矩陣β，最小范數(shù)最小二乘解β^。

核極限學(xué)習(xí)機(jī)（Kernel Extreme Learning Machine，KELM）算法可以在H 未知的情況下，將h（x）HT和HHT用相同的核函數(shù)K（x，xi）代替，就可以求出輸出函數(shù)的值，且隱含層節(jié)點(diǎn)數(shù)能夠自適應(yīng)確定。

4.2 BGKM-KELM 全景圖像火焰提取

經(jīng)過(guò)BGKM 算法得到疑似火焰區(qū)域和非火焰區(qū)域兩類(lèi)樣本后，選取訓(xùn)練樣本的a、b 分量值以及LBP 紋理特征這三種特征屬性作為輸入向量來(lái)訓(xùn)練核極限學(xué)習(xí)機(jī)。最后利用訓(xùn)練好的高斯核極限學(xué)習(xí)機(jī)對(duì)原全景圖進(jìn)行提取火焰。其算法主要流程如下：

（1）利用BGKM 算法對(duì)全景圖像進(jìn)行聚類(lèi)分析，得到疑似火焰區(qū)域和非火焰區(qū)域兩類(lèi)訓(xùn)練樣本；

（2）提取訓(xùn)練樣本的特征屬性對(duì)核極限學(xué)習(xí)機(jī)進(jìn)行訓(xùn)練得到相應(yīng)的核極限學(xué)習(xí)機(jī)分類(lèi)器；

（3）輸入原圖像，利用訓(xùn)練好的核極限學(xué)習(xí)機(jī)分類(lèi)器就可以直接對(duì)圖像進(jìn)行分割提取出火焰。

原全景圖、進(jìn)行BGKM 聚類(lèi)后結(jié)果圖以及最終BGKMKELM 算法提取出的火焰結(jié)果，如圖7（a）～圖7（c）所示。

圖7 這里算法最終結(jié)果圖Fig.7 Final Result of Algorithm in this Paper

5 算法仿真及結(jié)果分析

采用二分粒度聚類(lèi)與高斯核極限學(xué)習(xí)機(jī)相結(jié)合的方法即（BGKM-KELM）對(duì)全景圖像中的火焰進(jìn)行識(shí)別，將它與K 均值聚類(lèi)與高斯核極限學(xué)習(xí)機(jī)相結(jié)合（KM-KELM）的算法以及二分粒度聚類(lèi)與極限學(xué)習(xí)機(jī)（BGKM-ELM）相結(jié)合的算法作對(duì)比，并進(jìn)行結(jié)果分析。仿真軟件為MATLAB R2016a，運(yùn)行環(huán)境為CORE i5，CPU2.5 GHz，RAM 8G。

用KM-KELM、BGKM-ELM 和BGKM-KELM 三種算法分別對(duì)全景圖像、魚(yú)眼圖像以及普通圖像進(jìn)行火焰提取對(duì)比，圖像結(jié)果，如圖8～圖9 所示。算法準(zhǔn)確率以及運(yùn)行時(shí)間，如表2 所示。用BGKM-KELM 算法對(duì)不同光照條件下拍攝的全景圖像進(jìn)行處理，得到圖像結(jié)果，如圖10 所示。對(duì)樣本使用KM-KELM、BGKMELM 和BGKM-KELM 三種算法分別對(duì)其進(jìn)行火焰目標(biāo)提取，樣本采集不同光照下的全景圖像100 組，每組包含3 種不同光照和采集不同類(lèi)型圖片200 張。經(jīng)仿真實(shí)驗(yàn)得出，這里算法的識(shí)別率達(dá)到96.9%，具體數(shù)據(jù)，如表2 所示。

圖8 不同算法下的全景圖火焰結(jié)果比較Fig.8 Comparison of Panoramic Flame Results under Different Algorithms

圖9 不同算法下的不同類(lèi)型圖像的火焰結(jié)果比較Fig.9 Comparison of Flame Results for Different Types of Images under Different Algorithms

圖10 不同光照下的這里的算法提取結(jié)果Fig.10 Extraction Results of the Algorithm in Different Illuminations

仿真1：選取光照不均的兩幅全景圖像，根據(jù)圖8 可以看出，KM-KELM 算法雖對(duì)火焰的提取有一定效果，但還是包含有非火焰區(qū)域，如圖8（b）中火焰在地面上的倒影和圖8（f）中的電腦顯示屏被一起提取出來(lái)了；BGKM-ELM 和BGKM-KELM 兩種算法則能較好地提取出火焰，綜合表2 數(shù)據(jù)分析得出BGKM-KELM和BGKM-ELM 算法的準(zhǔn)確率相仿，但BGKM-KELM 運(yùn)行時(shí)間少于BGKM-ELM。

表2 不同算法下不同樣本類(lèi)型的比較Tab.2 Comparison of Different Sample Types under Different Algorithms

仿真2：選取不同類(lèi)型的復(fù)雜背景圖像，根據(jù)圖9 可以看出，KM-KELM 算法對(duì)火焰的提取還是有點(diǎn)欠缺，如圖9（b）中右上煙霧區(qū)和圖9（f）背景中的一些紅布區(qū)域也被提取出來(lái)了；BGKMELM 和BGKM-KELM 兩種算法則能較好規(guī)避掉疑似火焰區(qū)域，綜合圖8～圖9 和表2 數(shù)據(jù)分析得出BGKM 算法經(jīng)過(guò)引入粒子相似度的概念優(yōu)化傳統(tǒng)K-Means 算法，繼而優(yōu)化了初始樣本特征屬性，最終結(jié)合極限學(xué)習(xí)機(jī)得到較好的火焰提取。KELM 引入高斯核函數(shù)更是加速了火焰的提取。

仿真3：選取不同光照下拍攝的同一地點(diǎn)的全景圖，通過(guò)改變房間日光燈開(kāi)啟的數(shù)量來(lái)模擬光照變化，全部開(kāi)啟為光照1，一半開(kāi)啟為光照2，全部關(guān)閉為光照3。通過(guò)圖10（b）、圖10（d）、圖10（f）可以看出算法能夠抗光照變化影響，較好地提取出圖像中的火焰。

6 結(jié)語(yǔ)

提出的二分粒度聚類(lèi)和核極限學(xué)習(xí)機(jī)相結(jié)合的算法適用于背景復(fù)雜的全景圖像火焰識(shí)別，具有適用范圍廣、計(jì)算速度快、準(zhǔn)確率高等優(yōu)點(diǎn)，對(duì)復(fù)雜背景和光照變化噪聲有較強(qiáng)的抑制作用。該算法通過(guò)對(duì)火焰的顏色特征包括其亮度及色度特征進(jìn)行提取、限定，可以快速準(zhǔn)確地提取全景圖像中火焰區(qū)域，在實(shí)時(shí)性要求較高的場(chǎng)合有很好的應(yīng)用前景。但在該算法中對(duì)K-means 算法中聚類(lèi)數(shù)目的確定僅僅是靠粒子間的相似度去劃分確定的，而進(jìn)一步確定最佳聚類(lèi)數(shù)目是我們的后續(xù)工作。