基于矩陣模式的林火圖像半監(jiān)督學(xué)習(xí)算法

楊緒兵，葛彥齊，張福全，范習(xí)健，姚宏亮

基于矩陣模式的林火圖像半監(jiān)督學(xué)習(xí)算法

楊緒兵1，葛彥齊1，張福全1，范習(xí)健1，姚宏亮2

(1. 南京林業(yè)大學(xué)信息科學(xué)技術(shù)學(xué)院，江蘇 南京 210037；2. 合肥工業(yè)大學(xué)計算機與信息學(xué)院，合肥 安徽 230601)

森林火災(zāi)圖像識別是森林防火監(jiān)測系統(tǒng)的核心。目前的主要研究多在圖像的向量模式表示上展開。由于向量模式的樣本數(shù)由圖像分辨率決定，易導(dǎo)致模型訓(xùn)練的負擔(dān)過重。樣本類別標(biāo)記的準(zhǔn)確性，直接影響后續(xù)的模型訓(xùn)練和目標(biāo)識別。而目前的類別標(biāo)定工作多采用手工或圖像預(yù)處理方法完成，任務(wù)繁瑣且容易出錯。此外，由于像素位置在圖像向量化過程中被調(diào)整，不可避免地會損失圖像原有的結(jié)構(gòu)信息。鑒于此，提出了基于矩陣分塊的半監(jiān)督學(xué)習(xí)算法Semi-MHKS，優(yōu)勢在于：①矩陣分塊形式的樣本數(shù)遠低于向量模式，可有效縮短訓(xùn)練和識別時間；②只需標(biāo)記分塊類別，更有利于準(zhǔn)確標(biāo)定樣本類別；③采用雙線性判別函數(shù)，設(shè)計了針對林火問題的半監(jiān)督學(xué)習(xí)算法；④證明了算法的收斂性。與支持向量機(SVM)、MHKS和半監(jiān)督的LapMatLSSVM方法相比，在林火圖像和視頻上的實驗驗證了Semi-MHKS的具有較高的識別率和較低的訓(xùn)練時間。

林火識別；向量模式；矩陣模式；雙線性函數(shù)；半監(jiān)督學(xué)習(xí)

森林火災(zāi)位列森林3大自然災(zāi)害(火災(zāi)、病害和蟲害)之首，其對森林資源、森林生態(tài)系統(tǒng)造成的破壞是毀滅性的。為保護人類生存環(huán)境和生命財產(chǎn)安全，世界各國均投入巨資、人力用于研制森林火災(zāi)預(yù)警系統(tǒng)，其中視頻監(jiān)控系統(tǒng)是其重要組成部分[1]。根據(jù)不同的視頻采集設(shè)備，目前的監(jiān)測系統(tǒng)主要有衛(wèi)星監(jiān)測、紅外圖像監(jiān)測、可見光視頻監(jiān)測等，其中可見光系統(tǒng)具有圖像清晰、分辨率高、監(jiān)測距離遠、成本低等特點，且與人眼視覺系統(tǒng)基本一致[1-2]等特點，因而可見光監(jiān)控系統(tǒng)更為常見。

現(xiàn)階段的監(jiān)控系統(tǒng)仍停留在“監(jiān)”的階段，“控”尚處于起步階段，且多以人工方式完成。一個重要原因是缺乏針對性的識別算法。以林火識別問題為例，現(xiàn)有系統(tǒng)存在著識別時間長、識別能力差等問題，難以滿足林區(qū)防火的實時性要求。研究成果多集中在圖像的顏色空間展開，如Marbach等根據(jù)YUV圖像的亮度閃爍來劃分疑似火災(zāi)區(qū)域[3-4]；梁青[5]詳細研究了5種顏色空間(RGB、HSV、HLS、HIS和CMYK)對林火圖像分割的效果，得出CMKY顏色模型更有利于提取顏色特征的結(jié)論；亦也有學(xué)者建議直接根據(jù)視頻圖像的閾值范圍來判斷是否存在火焰[6-7]。傅天駒等[4, 8-9]則采用深度神經(jīng)網(wǎng)絡(luò)識別林火，并建議將夜晚和白天的林火圖像分開訓(xùn)練，采用不同的網(wǎng)絡(luò)參數(shù)，更有助于提高林火識別率。上述研究均是基于圖像的向量模式開展研究。由于圖像在向量化過程中，破壞并丟棄了圖像空間的結(jié)構(gòu)信息，包括可能蘊含其中的判別信息。此外，這種基于圖像像素的向量模式產(chǎn)生的樣本集，其大小呈平方級數(shù)增長，給后續(xù)的模型訓(xùn)練和求解增加負擔(dān)。如一幅1024×768的灰度圖像，其對應(yīng)的向量表示的樣本容量為786 432。如此規(guī)模的學(xué)習(xí)任務(wù)，將會使諸多性能優(yōu)越的機器學(xué)習(xí)算法失效(訓(xùn)練時間過長或訓(xùn)練不充分)，實時性更是無法滿足。

以兩分類問題為例，林火圖像的類別標(biāo)定通用做法有純手工標(biāo)定和半手工標(biāo)定。純手工標(biāo)定是指直接觀察圖像，分別將圖像中火焰像素和無火像素對應(yīng)的向量模式進行類別標(biāo)記；半手工標(biāo)定是指借助圖像預(yù)處理辦法，如圖像分割，先將圖像切分為“火焰區(qū)域”和“無火區(qū)域”，再按區(qū)域內(nèi)的像素對向量模式進行標(biāo)記類別。前者完全由人力決定，由于肉眼難以細微到像素水平，該方法費時費力且易出錯。后者雖有所改進，但針對森林火災(zāi)圖像而言，受光照條件、覆蓋物遮擋、氣候條件等影響，分割出來的火焰區(qū)域甚至是不連通、不連續(xù)的，也很難準(zhǔn)確標(biāo)記[10-11]。針對以上問題，本文提出了一種半監(jiān)督的矩陣模式分類方法(semi-supervised matrix-pattern Ho-Koshyap algorithm with squared approximation, Semi-MHKS)，具備以下優(yōu)點：①直接采用分塊矩陣設(shè)計分類器，有利于保留圖像的結(jié)構(gòu)信息；②模型訓(xùn)練僅需要少量的標(biāo)記樣本，較之標(biāo)記像素的工作更為輕松和準(zhǔn)確，可顯著減少因像素標(biāo)記不準(zhǔn)確而造成的監(jiān)督信息錯誤；③圖像分塊的樣本數(shù)可大幅度下降，有利于減輕分類器的訓(xùn)練負擔(dān)；④采用雙線性判別函數(shù)進行分類，導(dǎo)出的問題是一個嚴格凸優(yōu)化問題，算法的收斂性有理論保證。

1 相關(guān)工作

采用矩陣形式表示樣本，早期版本是針對人臉識別問題的特征提取和識別任務(wù)[12-13]?，F(xiàn)已應(yīng)用在圖像紋理描述、分類器設(shè)計和并行計算等方面[14-18]。就矩陣模式的分類方法而言，其主要思想歸功于MHKS。后繼的針對矩陣模式的全監(jiān)督型方法較多，且可與其他方法結(jié)合，提出了多視圖學(xué)習(xí)(multi-view learning)、全局學(xué)習(xí)和局部學(xué)習(xí)的矩陣模式分類器等[19-21]。但文獻中鮮見Semi-MHKS原因為：①矩陣模式學(xué)習(xí)方法較新，其基礎(chǔ)理論尚待進一步完善，且未能引起學(xué)界重視；②應(yīng)用領(lǐng)域有待擴展，目前主要集中在容易標(biāo)定類別的人臉識別問題上。開辟一個新的應(yīng)用領(lǐng)域，需要大量的前期準(zhǔn)備工作，如背景知識儲備、數(shù)據(jù)采集與清洗、樣本標(biāo)簽等，如LapMatLSSVM (Laplacian matrix-based least square SVM)[22]。以下簡單回顧雙線性判別函數(shù)、全監(jiān)督的MHKS和半監(jiān)督LapMatLSSVM的矩陣模式學(xué)習(xí)方法。

1.1 雙線性函數(shù)

1.2 MHKS

其中，1=；2=；為合適大小的單位矩陣。式(2)中第一項用于度量模型的經(jīng)驗風(fēng)險，且通過引入松弛變量r(≥0)來解決少量矩陣模式錯分問題。式(2)中第二項采用類似于SVM的間隔思想，用以度量模型的復(fù)雜性。正則化因子，用于平衡經(jīng)驗風(fēng)險和模型復(fù)雜度。求解詳見文獻[18]。

1.3 LapMatLSSVM

結(jié)合矩陣學(xué)習(xí)和LSSVM，并通過拉普拉斯懲罰引入樣本的鄰域信息，PEI等[21]提出了半監(jiān)督學(xué)習(xí)方法LapMatLSSVM，即

2 Semi-MHKS算法

設(shè)訓(xùn)練集包含有標(biāo)和無標(biāo)樣本，不妨設(shè)前個是有標(biāo)樣本，記為={1,···,}，R×，為對應(yīng)的類標(biāo)；后個為無標(biāo)記的，記為，={+1,···,+q}，+=。

對于半監(jiān)督學(xué)習(xí)而言，由于獲得樣本的類別標(biāo)記代價昂貴，故有<，應(yīng)給予格外重視；同時盡可能利用大量的無標(biāo)樣本信息以期提高分類器的分類性能。觀察式(3)，若將LapMatLSSVM的約束矩陣分解為兩分塊：=[×,×(l–)]，前一分塊對角元素為樣本標(biāo)記，后者為零矩陣，按分塊矩陣乘法展開該約束，易知該約束中僅保留了有標(biāo)樣本信息。故其無標(biāo)記樣本信息只有通過拉普拉斯懲罰項完成，拉普拉斯圖中鄰接矩陣(圖中邊的權(quán)值)通過計算各分塊之間的相似度來定義的，相似度越高則權(quán)值越小。對林火圖像而言，事實并非如此。如圖1所示，直覺上同一類別的圖像分塊仍可能有較低的相似度，如天空區(qū)域和未著火的地表區(qū)域，樹和雜草的著火區(qū)域等。由前期圖像分割工作可知，天空背景與火焰極易被分割到相同區(qū)域。

為此，借鑒MHKS設(shè)計思想，重新考慮設(shè)計基于矩陣分塊的半監(jiān)督算法，以適應(yīng)林火圖像問題。

(a) 原圖 (b) 圖像分塊

2.1 模型設(shè)計

如圖1(b)所示，圖像分塊之間彼此互不重合?？紤]到標(biāo)記樣本少和盡可能重視這些有監(jiān)督信息，借鑒基于小樣本理論SVM的設(shè)計思想，采用軟間隔形式，定義如下優(yōu)化問題

2.2 模型求解

模型(4)的左右權(quán)和，可通過交替迭代方式完成求解。無論固定誰，式(4)對于另一個向量來說，都是一個嚴格的凸二次規(guī)劃問題，以定理1描述之。

定理1.模型(4)是一個嚴格凸二次規(guī)劃問題。

簡證：對優(yōu)化變量或，目標(biāo)函數(shù)均為二次函數(shù)，且其Hessian矩陣均為單位陣，故目標(biāo)函數(shù)是嚴格凸的，線性約束構(gòu)成的可行域為凸集，故模型(4)是一個嚴格凸二次規(guī)劃問題。

將偏導(dǎo)數(shù)所得方程代入式(6)整理，得

其中，為學(xué)習(xí)率；()為第次迭代的右權(quán)向量。

以上求解過程，用算法1總結(jié)如下，設(shè)置最大迭代次數(shù)MaxIter。

算法1. Semi-MHKS算法

輸出：左右權(quán)向量和。

步驟1.隨機初始化(0)，計算,1。

步驟2.更新矩陣(),()。=[1,···,,+1,···,+q]，=v；=T+1/2。

算法1中的收斂性問題，用定理2描述并給出證明。由于的更新是通過梯度下降法完成，根據(jù)優(yōu)化理論可知，該方法是收斂的。

定理2. 優(yōu)化問題(4)中的是收斂的，且存在唯一解。

證明：問題(4)中的采用梯度下降法進行更新，故收斂。由前文知，和相互依賴，且滿足=，迭代形式記為(t)=(t)。

2.3 批量決策問題

對于待分類的圖像分塊，形如前文的= {+1,···,+q}，為避免決策時間過慢，期望能夠?qū)崿F(xiàn)如向量模式的批量決策，由文獻[18]可知，樣本的決策函數(shù)記為

3 實驗驗證

3.1 靜態(tài)圖像實驗

按圖1(b)方式將RGB圖像分為“有火”和“無火”2個類別，分別標(biāo)記為“1”和“–1”。實驗在對應(yīng)的灰度圖像上完成，根據(jù)分類結(jié)果將各“火焰”分塊按原分塊的順序重新組裝成RGB圖像，以便于觀察可視化效果。因SVM只能訓(xùn)練向量模式的樣本，實驗中將各分塊作了向量化處理，其他3種方法均直接采用矩陣模式訓(xùn)練。如圖2所示，第一列是林火圖像的原圖(圖2(a))，對圖像分塊并標(biāo)定類別后，按7∶3劃分訓(xùn)練集和測試集。為避免訓(xùn)練時SVM產(chǎn)生奇異性問題，分塊時盡可能保證訓(xùn)練樣本數(shù)大于樣本維數(shù)，該問題可通過調(diào)整分塊大小實現(xiàn)。LapMatLSSVM和Semi-MHKS利用了剩下的無標(biāo)記樣本進行訓(xùn)練。模型訓(xùn)練完成后，為使結(jié)果在可視化具有圖像的整體印象，用全部分塊進行測試，將判別為“有火”按分塊的原次序重新組裝成圖像并顯示，結(jié)果如圖2(b)~(e)所示。

圖2 4種方法的林火圖像識別效果圖

圖2的實驗結(jié)果表明：向量模式的SVM視覺效果最差，出現(xiàn)了2種類型(“有火”判為“無火”，和“無火”判為“有火”)的判別錯誤?；诰仃嚹Ｊ降姆诸惙椒ǎ捎跓o需向量化，各分塊的圖像結(jié)構(gòu)信息能夠保留下來，且該信息顯然對判別十分有利，故后3種方法的可視化效果圖上，基本上能夠見到圖像的火焰區(qū)域全貌。同時，相對于Semi-MHKS，全監(jiān)督的MHKS和半監(jiān)督的LapMatLSSVM的誤報警率較高(“無火”分塊被判為“有火”)。由于LapMatLSSVM能夠適當(dāng)利用無標(biāo)樣本信息，第2和第3幅圖像上，取得了較MHKS更好的分類結(jié)果(圖2(e)和圖2(d))。第4幅圖像，“有火”分塊數(shù)量明顯少于“無火”分塊。實驗中暫未考慮樣本不平衡分類問題，取“有火”分塊數(shù)量相當(dāng)?shù)摹盁o火”分塊作為負類樣本，以避免不平衡分類問題。此時訓(xùn)練集與測試集比例未按7∶3比例劃分，而直接將全部“有火”樣本加入訓(xùn)練集中。即便如此，在實驗效果上，SVM，MHKS和LapMatLSSVM均存在將較多背景或煙霧的“無火”分塊判為“有火”，誤報警率較高。而Semi-MHKS由于從模型設(shè)計之初，在利用無標(biāo)樣本信息方面，避免了如LapMatLSSVM的拉普拉斯矩陣的近鄰方法，達到減小背景分塊的差異性對分類方法的影響。同時，由于矩陣模式分類方法目前無法使用類似于核函數(shù)的非線性化方法，為比較公平起見，實驗過程中，SVM的實驗結(jié)果也是在線性核作用下完成的，未考慮其他類型的核函數(shù)及核參選擇問題。此外，MHKS是基于回歸模型導(dǎo)出的，而LapMatLSSVM是基于SVM的近似版本LSSVM導(dǎo)出的，單純從優(yōu)化的可行域上來看，不等式約束的可行域顯然是包含等式約束的，即此方法的可行域更加寬廣。圖2的實驗結(jié)果表明，Semi-MHKS較之其他3種方法具有更高的識別率和低報警率。

3.2 視頻圖像實驗

視頻數(shù)據(jù)來自意大利薩萊諾大學(xué)Mivia研究組，公開發(fā)布的未處理數(shù)據(jù)集共有31段視頻，包括多種場景下的火焰和煙霧視頻。實驗中選取與森林火災(zāi)內(nèi)容相關(guān)fire4.avi作為實驗對象。該視頻采集頻率為每秒15幀，計240幀圖像。每幀圖像的分辨率為256×400，采用24位的RGB模式。為突出幀與幀之間的差別，將從視頻中每隔1 s取1幀圖像，共取16張圖像用于訓(xùn)練和識別，按時間序分別記錄為Frame1~16，圖像分塊大小取16×20，僅對Frame1的圖像分塊進行類別標(biāo)記。全監(jiān)督的SVM和MHKS由第一幀的圖像分塊訓(xùn)練，而訓(xùn)練半監(jiān)督方法LapMatLSSVM和Semi-MHKS時，采用Frame1~3進行訓(xùn)練，其中Frame2和Frame3作為無標(biāo)樣本使用。由于訓(xùn)練向量模式的SVM需要考慮奇異性問題，而避免奇異性問題就必須增加訓(xùn)練樣本數(shù)，以至于需要選擇較小的矩陣分塊，增加了樣本標(biāo)定工作量。由于圖像較多，樣本標(biāo)定工作無法人工完成，需由文獻[3]的圖像分割方法完成。SVM的訓(xùn)練樣本由RGB圖像的三通道像素組成。Frame1中共有102 400個樣本，隨機選擇10%進行訓(xùn)練，剩余用于測試，重復(fù)5次取平均結(jié)果。Frame2~16均作為測試數(shù)據(jù)，統(tǒng)計該幀的圖像分塊，判別為“有火”或“無火”分塊與原圖對應(yīng)分塊標(biāo)簽的一致的百分比，實驗結(jié)果見表1和表2。實驗在Inter Core i7CPU 2.2 GHz，RAM 8 G機器上完成，運行環(huán)境windows7系統(tǒng)Matlab 2015b。訓(xùn)練時間采用matlab的CPUtime函數(shù)計時。

表1 Frame1上的訓(xùn)練時間和測試精度

表2 視頻Fire4.avi的余下15楨的測試精度(%)

(注：同一幀圖像上，識別率最高者標(biāo)記為粗體)

由表1可知，即使在10%的樣本集上訓(xùn)練SVM，其訓(xùn)練速度比矩陣分塊方法慢近千倍。造成SVM的測試精度只有73.5%的可能原因有2個：①模型訓(xùn)練不充分，但若再加大訓(xùn)練集，則需要更長的訓(xùn)練時間，而且對于高分辨率圖像來說，采用這種向量模式的分類方法，基本上是不可行的；②由于像素級的樣本的類別標(biāo)記，采用半手工的圖像分割方法完成，存在樣本被錯誤標(biāo)記風(fēng)險，從而影響了模型訓(xùn)練。而對于矩陣分塊方法，分塊樣本更容易獲得正確標(biāo)記。從直覺理解上，采用分塊標(biāo)記更符合人類直覺，且分塊后每楨只有320個樣本，訓(xùn)練時間亦可大大減少。對半監(jiān)督的LapMatLSSVM和Semi-MHKS而言，在訓(xùn)練過程中雖說均需要交替迭代完成左右權(quán)向量求解，但由于前者多一個計算拉普拉斯正則項時間，故LapMatLSSVM的訓(xùn)練時間較Semi-MHKS長。測試精度上，由于半監(jiān)督方法將Frame2和Frame3的無標(biāo)樣本用于輔助訓(xùn)練，二者的測試精度應(yīng)該高于MHKS，但由于LapMatLSSVM采用相似度刻畫拉普拉斯項，同類中差異性較大的分塊導(dǎo)致的較低相似度，反而會影響測試精度。盡管Semi_MHKS在迭代過程需要求解二次規(guī)劃，但由于樣本數(shù)少，計算二次規(guī)劃的時間與求解另2種方法的線性方程差異不大，且算法收斂速度很快。

由于視頻幀F(xiàn)rame1-Frame16中均有火焰，但火焰區(qū)域與無火區(qū)域面積相差較大，F(xiàn)rame1中標(biāo)記為“有火”的分塊共34個，其他286個分塊均是“無火”，存在訓(xùn)練樣本不平衡問題。3種方法雖然均可通過批量方式實現(xiàn)樣本分類，但由于SVM需對每幀近10萬樣本進行分類，內(nèi)存無法存儲10萬階的核矩陣，本實驗中共分10次批量完成。半監(jiān)督的LapMatLSSVM和Semi-MHKS較之MHKS方法，僅需多計算一個無標(biāo)樣本矩陣，二者測試時間相當(dāng)，但較之SVM存在明顯優(yōu)勢，故表2中只報告4種方法測試精度。

本實驗驗證了半監(jiān)督學(xué)習(xí)機制，較之全監(jiān)督方法，模型的分類能力有所提高。且通過矩陣分塊的方法，能夠解決高分辨率的圖像識別問題。但SVM是通過引入核方法來提高模型的分類能力，而Semi-MHKS，乃至矩陣學(xué)習(xí)模式，如何采用類似機制來提高分類性能，仍有待進一步的研究。

4 結(jié)束語

就林火識別問題，本文提出了一種基于矩陣分塊的半監(jiān)督學(xué)習(xí)方法。該方法與傳統(tǒng)的向量模式相比，具有標(biāo)記樣本更為方便、分類器訓(xùn)練速度更快等特點。所導(dǎo)出的問題可通過凸優(yōu)化方法求解，算法收斂性有理論保證。矩陣分塊的大小、監(jiān)督信息的多少均會影響分類器性能，本文的實驗結(jié)果多數(shù)是通過可視化方法評價實驗結(jié)果，下一步目標(biāo)之一是如何構(gòu)造更好的評價指標(biāo)。其次，Semi-MHKS采用的分塊是不重疊的，如果采用類似字典學(xué)習(xí)的重疊分塊情況如何？此外，即使是對RGB圖像，文中的訓(xùn)練和識別均是針對灰度圖像進行的，設(shè)若將各通道的顏色信息融入到分類器設(shè)計中，性能如何？這些工作都將留待進一步的研究。

[1] 舒立福. 權(quán)威解讀森林消防國家行業(yè)標(biāo)準(zhǔn)《森林防火視頻監(jiān)控系統(tǒng)技術(shù)規(guī)范》[EB/OL]. [2019-03-09]. (2016-06-03). http://www.forestry.gov.cn/main/72/content- 877501.html.

[2] 劉凱, 魏艷秀, 許京港, 等. 基于計算機視覺的森林火災(zāi)識別算法設(shè)計[J]. 森林工程, 2018, 34(4): 89-95.

[3] 楊緒兵, 覃欣怡, 張福全. 基于樣條的林火圖像多閾值分割算法[J]. 計算機應(yīng)用, 2017, 37(11): 3157-3161, 3167.

[4] 傅天駒. 基于深度學(xué)習(xí)的林火圖像識別算法及實現(xiàn)[D]. 北京: 北京林業(yè)大學(xué), 2016.

[5] 梁青. 基于圖像處理的森林火災(zāi)監(jiān)測技術(shù)研究[D]. 南昌: 華東交通大學(xué), 2012.

[6] YU C, MEI Z, ZHANG X. A real-time video fire flame and smoke detection algorithm [J]. Procedia Engineering, 2013, 62: 891-898.

[7] MEMANE S E, KULKARNI V S. A review on flame and smoke detection techniques in videos [J]. International Journal of Advanced Research in Electrical Electronics and Instrumentation Engineering, 2015, 4(2): 855-859.

[8] 陳斌鋒. 林火自動識別報警系統(tǒng)研建[J]. 森林防火, 2015(2): 41-44.

[9] 周忠. 基于時空特征的林火視頻煙霧識別[D]. 南京: 南京林業(yè)大學(xué), 2015.

[10] 胡江策, 盧朝陽, 李靜, 等. 采用超像素標(biāo)注匹配的交通場景幾何分割方法[J]. 西安交通大學(xué)學(xué)報, 2018, 52(8): 74-79, 145.

[11] 於敏. 基于區(qū)域分割的圖像標(biāo)注的研究[D]. 無錫: 江南大學(xué), 2016.

[12] YANG J, ZHANG D, FRANGI A, et al. Two-dimensional PCA: A new approach to appearance- based face representation and recognition [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), 2004, 26(1): 131-137.

[13] CHEN S, ZHU Y, ZHANG D, et al. Feature extraction approaches based on matrix pattern: MatPCA and MatFLDA [J]. Pattern Recognition Letters, 2005, 26(8): 1157-1167.

[14] LORIS N, SHERYL B, ALESSANDRA L. Texture descriptors for representing feature vectors [J]. Expert Systems with Applications, 2019, 122: 163-172.

[15] WANG Z, ZHU Z. Matrix-pattern-oriented classifier with boundary projection discrimination [J]. Knowledge- Based Systems, 2018, 149: 1-17.

[16] LI D, ZHU Y J, WANG Z, et al. Regularized matrix-pattern-oriented classification machine with universum [J]. Neural Processing Letters, 2017, 45(3): 1077-1098.

[17] SONG H, CHEN G, WEI H, et al. The improved (2D) 2 PCA algorithm and its parallel implementation based on image block [J]. Microprocessors and Microsystems, 2016, 47: 170-177.

[18] CHEN S C, WANG Z, TIAN Y J. Matrix-pattern- oriented Ho-Kashyap classifier with regularization learning [J]. Pattern Recognition, 2007, 40(5): 1533-1543.

[19] ZHU C, WANG Z, GAO D, et.al. Double-fold localized multiple matrixized learning machine [J]. Information Sciences, 2015, 295: 196-220.

[20] ZHU C. Double-fold localized multiple matrix learning machine with Universum [J]. Pattern Analysis and Applications, 2017, 20(4): 1091-1118.

[21] PEI H, WANG K, ZHONG P. Semi-supervised matrixized least squares support vector machine [J]. Applied Soft Computing, 2017, 61: 72-87.

[22] Mivia Research group. Fire detection dataset [EB/OL]. [2019-03-09]. University of Saleno, Italy, 2018-04-30, https://mivia.unisa.it/datasets/video-analysis-datasets/fire-detection-dataset/.

Semi-Supervised Algorithm for Forest Fire Recognition Based on Matrix Pattern

YANG Xu-bing1, GE Yan-qi1, ZHANG Fu-quan1, FAN Xi-jian1, YAO Hong-liang2

(1. College of Information Science and Technology, Nanjing Forestry University, Nanjing Jiangsu 210037, China; 2. School of Computer Science and Information Engineering, Hefei University of Technology, Hefei Anhui 230601, China)

Forest fire image recognition/detection plays a vital role in forest fire monitoring system. Due to its own characteristics and difficulties of forest fire image, the existing studies mainly focus on the vector-pattern-oriented fire image, where each vector-pattern sample corresponds to an image pixel one by one. Since the number of vector-pattern samples is strongly determined by the resolution of the given image, it is time-consuming for training classifier to deal with numerous vector-pattern samples, especially for higher-quality images. How to label samples is another big challenge in the task of image target recognition. However, at present, this labeling work is done manually or semi-manually (for instance, the method of image preprocessing). It is clear that the accuracy of labels directly affects subsequent steps including classifier training and object recognition. Furthermore, owing to the rearrangement of adjacency relationship between pixels, vector-pattern samples, which are generated from image pixel-by-pixel vectorization, unavoidably lost the original image structural information. In this paper, we proposed a matrix-pattern semi-supervised algorithm for forest fire image recognition, named Semi-MHKS (semi-supervised matrix-pattern Ho-Koshyap algorithm with squared approximation). Its advantages lie in 4 aspects: ①Instead of vector-pattern, it adopts sub-matrix-pattern samples to train classifier. In doing so, it is more likely to meet real-time requirements because of smaller size of training set. ②It is easier to label the training samples in the manner of sub-matrix-pattern than that of vector pattern. Moreover, it is also effective for decreasing the error rate in manual-labeling. ③Adopting so-called bi-linear discriminant function, we design a semi-supervised learning algorithm (Semi-MHKS) for forest fire images, which only needs several labeled samples. It is also suitable for classifying the a batch of unknown matrix-pattern samples. ④The algorithm leads to a strictly convex optimization problem, which can be solved by quadratic programming and gradient descend method. It is mathematically proved that Semi-MHKS is convergent in the stage of alternating iteration, with fixed left or right weight vectors of the bi-linear function. Compared to state-of-the-art methods, including vector-pattern support vector machine (SVM), matrix-pattern MHKS, and matrix-pattern semi-supervised LapMatLSSVM (Laplacian matrix-based least square SVM), the experiments on forest fire images verify that our proposed algorithm has higher fire image recognition rate and less training time.

forest fire recognition; vector-pattern; matrix-pattern; bilinear function; semi-supervised learning

TP 391

10.11996/JG.j.2095-302X.2019050835

A

2095-302X(2019)05-0835-08

2019-06-13；

2019-08-20

江蘇省自然科學(xué)基金項目(BK20161527，BK20171543)；國家自然科學(xué)基金項目(31670554，61871444)

楊緒兵(1973-)，男，安徽六安人，副教授，博士，碩士生導(dǎo)師。主要研究方向為模式識別、神經(jīng)計算、圖像處理等。E-mail：xbyang@njfu.edu.cn

張福全(1977-)，男，甘肅玉門人，副教授，博士，碩士生導(dǎo)師。主要研究方向為林業(yè)物聯(lián)網(wǎng)、圖像處理等。E-mail：zfq@njfu.edu.cn