基于兩階段融合策略的圖像語義分割方法

楊蘇 丁亞杰 陳誠 馮小軍

摘要：為提升圖像中對象語義類別分割與識別的精準(zhǔn)度，本文提出一種基于兩階段融合策略的方法，先利用超像素分割處理原始圖像，并結(jié)合隨機森林分類器實現(xiàn)圖像的初分割;再通過區(qū)域生長策略完成聚類，得到聚類結(jié)果;最后采用貝葉斯框架融合前兩階段輸出產(chǎn)生最終分割結(jié)果。實驗結(jié)果表明，本文所提出方法語義分割結(jié)果更為精準(zhǔn)，魯棒性更好。

關(guān)鍵詞：無人機航拍圖像;兩階段融合策略;語義分割;貝葉斯框架

1引言

近年來，電網(wǎng)的可靠運行很大程度上影響著我國經(jīng)濟水平的發(fā)展。我國地形蜿蜒復(fù)雜，加上冰凍、干旱等惡劣環(huán)境以及難以預(yù)料的自然災(zāi)害的侵襲，勢必給電網(wǎng)的穩(wěn)定運行造成了嚴(yán)重的威脅。而圖像語義分割技術(shù)成為輸電線路巡檢中的一項重要課題，具有很高的社會價值[1]。

傳統(tǒng)的語義分割方法一般通過提取自然圖像的低層次特征，進而完成分割，常用的有閾值分割法、邊緣檢測分割法和基于區(qū)域的圖像分割算法等等。本文提出了一種基于兩階段融合策略的算法，實驗表明，本文提出的方法比其他方法更具優(yōu)越性。

2 基于兩階段融合策略的圖像語義分割算法

本文提出了一種基于兩階段投票融合策略的算法。首先，通過超像素分割算法[2]將原始圖像序列劃分成一個個近似均勻的超像素塊，并投入隨機森林分類器，實現(xiàn)圖像的初分割;其次，利用區(qū)域生長策略完成局部相似區(qū)域的聚類，得到超像素塊的拼圖零片后再次作為隨機森林分類器的輸入;最后，通過貝葉斯框架融合前兩階段輸出產(chǎn)生最終分割結(jié)果。

（1）隨機森林分類

采用超像素分割算法對原始圖像序列進行初始分割，在一定區(qū)域內(nèi)將特征相似的圖像像素點聚類成超像素塊，再提取每個超像素塊的顏色特征和基于GLCM的紋理特征[3]錯誤！未找到引用源。，最后將這些特征生成特征描述子輸入到隨機森林分類模型中進行初始分類，得到分類結(jié)果。

（2）基于拼圖零片學(xué)習(xí)的圖像語義分割

首先將原始圖像從RGB顏色域轉(zhuǎn)換至LAB顏色域，利用SLIC算法完成圖像初始分割，得到N個超像素塊，并提取超像素塊的顏色和紋理特征。再對鄰近超像素區(qū)域的相似性進行度量，完成超像素塊的自動生長，最后，將自然圖像的所有超像素塊通過區(qū)域生長整合為拼圖零片以后，匯集全部拼圖零片，同時為其賦予最貼切的語義類別標(biāo)簽。

（3）貝葉斯框架融合

對上述兩次利用圖像低層和中層語義信息得到的結(jié)果進行融合，結(jié)合貝葉斯框架進一步得到最優(yōu)的語義分割結(jié)果。首先，通過隨機森林算法得到超像素塊區(qū)域生長前后的類別概率圖，生成先驗值;然后凸包模型[4]計算該區(qū)域的觀測似然概率，再結(jié)合經(jīng)典的貝葉斯模型架構(gòu)計算各個超像素塊的后驗概率，加權(quán)融合后通過排序比較得到該圖像區(qū)域最終的類別估計值。最后對融合后的類別估計值進行排序，最大值所屬的類別標(biāo)號即為當(dāng)前超像素區(qū)域的類別，進而得到最終的分割結(jié)果。

3 實驗結(jié)果分析

為了更好地驗證本章所提算法的通用性，本文在公共數(shù)據(jù)集Cityscapes[4]上進行實驗分析。本文算法的語義分割結(jié)果及算法各個步驟的性能如圖1所示。

圖1中的實驗結(jié)果表明，即使對于一些復(fù)雜的圖像，本文方法也能產(chǎn)生準(zhǔn)確的結(jié)果，可以大致完成對建筑物、樹木、道路等大面積連續(xù)目標(biāo)區(qū)域的分割。

為了定量評價算法性能，本文選取平均交并比（mIoU）[5]作為度量指標(biāo)，與常見的四種語義分割方法進行對比分析，結(jié)果如表1所示。

表1的實驗數(shù)據(jù)表明，本文算法在Cityscapes數(shù)據(jù)上的mIoU指數(shù)均高于其他四種語義分割方法。結(jié)合圖1的語義分割結(jié)果來看，本文算法在大目標(biāo)完整性和小目標(biāo)精確性方面取得了較好的平衡，使Cityscapes數(shù)據(jù)集上的語義分割結(jié)果更為精準(zhǔn)，魯棒性好。

4 結(jié)論

本文提出了一種通過兩階段融合策略的圖像語義分割算法，該算法首先將SLIC初分割圖像塊作為隨機森林分類器的輸入進行分割，再利用區(qū)域生長策略完成局部相似區(qū)域的聚類，實現(xiàn)拼圖零片學(xué)習(xí)后再次分割，最后根據(jù)貝葉斯框架融合兩次分割效果，得到最終的語義信息。在Cityscapes公共數(shù)據(jù)集上的實驗表明，不論是大目標(biāo)的分割完整度還是小目標(biāo)的分割準(zhǔn)確度，本文提出的算法優(yōu)于其他四種常見的語義分割方法。

參考文獻：

[1]趙振兵，李勝利，戚銀城， 等.一種改進FCN的輸電線路航拍圖像語義分割方法[J].中國科技論文，2018，13（14）：1614-1620.

[2]吳江，劉春曉. 具有紋理感知能力的超像素分割方法[J]. 中國圖象圖形學(xué)報， 2021， 26（05）： 1006-1016.

[3]Hall-Beyer M. Practical guidelines for choosing GLCM textures to use in landscape classification tasks over a range of moderate spatial scales[J]. International Journal of Remote Sensing， 2017， 38（5）： 1312-1338.

[4]Khosravani H R， Ruano A E， Ferreira P M. A convex hull-based data selection method for data driven models[J]. Applied Soft Computing， 2016， 47： 515-533.

[5]M. Cordts， et al. The Cityscapes Dataset for Semantic Urban Scene Understanding[C]// Proceedings of the IEEE conference on computer vision and pattern recognition. 2016： 3213-3223.

[6]孟琭，徐磊，郭嘉陽.一種基于改進的MobileNetV2網(wǎng)絡(luò)語義分割算法[J].電子學(xué)報，2020，48（09）：1769-1776.