基于全連接條件隨機(jī)場的道路場景語義分割方法

王瑤 馮峰

摘要：道路場景圖像的準(zhǔn)確分割是對(duì)道路場景進(jìn)一步分析與理解的前提條件。針對(duì)基于點(diǎn)對(duì)條件隨機(jī)場（Conditional Random Field，CRF）的道路場景語義分割方法僅考慮了局部鄰域關(guān)系，無法表達(dá)像素點(diǎn)之間的相互依賴關(guān)系，易產(chǎn)生誤分割現(xiàn)象的問題，本文提出基于全連接CRF模型的道路場景圖像語義分割方法。首先，通過像素點(diǎn)間的相互依賴關(guān)系獲取空間全局信息，利用Textonboost分類器提取圖像的基本結(jié)構(gòu)特征建立模型的一元?jiǎng)菽茼?xiàng)，利用高斯核函數(shù)的線性組合構(gòu)建模型的二元?jiǎng)菽茼?xiàng);之后，采用平均場近似算法實(shí)現(xiàn)模型的優(yōu)化推理;最后，采用道路場景數(shù)據(jù)庫Sowerby-7進(jìn)行實(shí)驗(yàn)分析，驗(yàn)證所提模型的可行性和有效性。實(shí)驗(yàn)結(jié)果表明，與基于點(diǎn)對(duì)條件隨機(jī)場模型相比，該模型能夠得到較好的語義分割結(jié)果。

關(guān)鍵詞：全連接CRF;道路場景;圖像語義分割

中圖分類號(hào)：TP391? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2019）18-0212-03

道路場景圖像語義分割主要是提取車輛前方可通行的道路區(qū)域，為智能駕駛系統(tǒng)的路徑規(guī)劃和車輛控制提供道路信息，是實(shí)現(xiàn)自動(dòng)駕駛、輔助駕駛和自主導(dǎo)航等機(jī)器視覺應(yīng)用中的關(guān)鍵技術(shù)之一[1-4]。現(xiàn)有的道路場景圖像語義分割方法主要利用顏色、紋理以及道路幾何形狀等圖像基本結(jié)構(gòu)特征進(jìn)行分割。Sirmacek等人[5]總結(jié)了基于顏色的道路檢測分割算法，包含K-means聚類、最近鄰法等，此類算法往往對(duì)路面陰影、積水等干擾敏感，分割性能易衰減且需要對(duì)圖像進(jìn)行復(fù)雜的預(yù)處理操作;Hou等人[6]提出了基于紋理的道路邊緣分割法，該方法適用于邊緣清晰的直線道路，對(duì)于邊緣模糊場景復(fù)雜的道路無法得到較好的分割結(jié)果;肖紅光等人[7]基于道路幾何形狀的算法，提出一種新的高分辨率SAR圖像道路提取算法，要求道路邊緣輪廓清晰以便于控制點(diǎn)的選取，但該方法過分依賴控制點(diǎn)，建模條件復(fù)雜且對(duì)邊緣不清晰的路面沒有很好的分割能力。上述這些方法提取到的像素特征往往是圖像的局部特征，而且分類器對(duì)像素分類只考慮了當(dāng)前點(diǎn)信息，像素之間互相獨(dú)立無法獲取上下文信息，因而無法獲得更好的語義分割結(jié)果。

近年來，條件隨機(jī)場（Conditional Random Field，CRF）模型由于能夠充分融合圖像多特征和表達(dá)空間上下文信息，可以很好地解決上述方法存在的問題。Costea等人[8]基于點(diǎn)對(duì)CRF的基本理論，提出了一種快速的交通場景語義分割方法，該方法利用相鄰像素點(diǎn)構(gòu)建點(diǎn)對(duì)勢能函數(shù)，引入多范圍分類功能來捕捉局部結(jié)構(gòu)和上下文信息，實(shí)現(xiàn)了快速的交通場景語義分割，但該方法不能描述相鄰較遠(yuǎn)的連接關(guān)系;Geng等人[9]利用點(diǎn)對(duì)CRF模型引入鄰域像素間空間信息，并實(shí)現(xiàn)了動(dòng)態(tài)地將顏色、紋理、空間及邊緣等多種特征融合，有效提高了圖像分割的精度，但對(duì)于圖像中邊緣細(xì)小的區(qū)域，分割結(jié)果仍不理想。這是由于點(diǎn)對(duì)CRF模型只考慮了局部鄰域關(guān)系，僅能描述簡單的鄰域平滑等先驗(yàn)知識(shí)，無法描述更遠(yuǎn)距離的空間關(guān)系。全連接CRF模型則進(jìn)一步考慮了單個(gè)像素和其他所有像素的關(guān)系，在圖像中的所有像素對(duì)上建立依賴關(guān)系，因此，本文利用全連接CRF模型對(duì)道路場景圖像進(jìn)行語義分割，通過像素點(diǎn)間的相互依賴關(guān)系獲取空間全局信息，利用Textonboost分類器提取圖像的基本特征建立模型的一元?jiǎng)菽茼?xiàng)，利用高斯核函數(shù)的線性組合構(gòu)建模型的二元?jiǎng)菽茼?xiàng)，并采用平均場近似算法實(shí)現(xiàn)模型的推理。實(shí)驗(yàn)結(jié)果表明，與基于點(diǎn)對(duì)條件隨機(jī)場模型相比，本文模型能夠得到較好的語義分割結(jié)果。

1 點(diǎn)對(duì)CRF模型

給定圖像的觀察場[Y={y1，y2，...，yN}i∈N]，其中yi為圖像中第i個(gè)像素的像素值，N為該圖像中的像素總數(shù);定義圖像的標(biāo)號(hào)場[X={x1，x2，...，xN}i∈N]，其中[xi={1，2，...，L}]為該圖像的類別標(biāo)簽，L為語義類別標(biāo)簽個(gè)數(shù)。圖像中的每一個(gè)像素值yi對(duì)應(yīng)一個(gè)類別標(biāo)簽xi，這樣每個(gè)像素點(diǎn)作為一個(gè)結(jié)點(diǎn)，結(jié)點(diǎn)間的關(guān)系作為邊，從而構(gòu)成一個(gè)條件隨機(jī)場（X，Y）。點(diǎn)對(duì)CRF模型就是通過觀察變量yi來推測像素i對(duì)應(yīng)的類別標(biāo)簽xi。那么，在該模型中，求解滿足最大后驗(yàn)概率的X*即為最優(yōu)的類別標(biāo)簽分配結(jié)果：

2 全連接CRF模型

針對(duì)基于點(diǎn)對(duì)CRF模型的道路場景語義分割方法僅考慮了局部鄰域關(guān)系，無法表達(dá)像素點(diǎn)之間的相互依賴關(guān)系，容易產(chǎn)生誤分割現(xiàn)象，本文提出基于全連接CRF模型的道路場景圖像語義分割方法。該方法進(jìn)一步考慮了單個(gè)像素和其他所有像素的關(guān)系，在圖像中的所有像素對(duì)上建立依賴關(guān)系，利用鄰域像素之間的相互作用引入空間全局信息，獲得更準(zhǔn)確的道路場景分割結(jié)果。

3 模型推理

全連接CRF模型具有成千上萬的邊連接，因而對(duì)能量函數(shù)的計(jì)算和推理過程非常復(fù)雜。平均場近似（Mean Field Approximation，MFA）算法[12]是一種高效的推理優(yōu)化算法，其優(yōu)點(diǎn)在于當(dāng)有很多邊連接存在時(shí)，依然可以快速推理達(dá)到收斂，效率極高。因此，本文采用MFA算法對(duì)全連接CRF模型進(jìn)行優(yōu)化推理。

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證所提模型和推理算法的可行性和有效性，以道路場景數(shù)據(jù)庫Sowerby-7[10]為實(shí)驗(yàn)對(duì)象，在實(shí)驗(yàn)環(huán)境為Intel（R） Core（TM） i5-8300H CPU @ 2.30GHz 8.00G的臺(tái)式機(jī)上，通過VS2010平臺(tái)采用C++語言編程實(shí)現(xiàn)，并結(jié)合Opencv基本算法庫提高算法開發(fā)效率。

4.1 定性分析

現(xiàn)從道路場景數(shù)據(jù)庫Sowerby-7中選取3張圖進(jìn)行分割實(shí)驗(yàn)，并將全連接CRF模型的語義分割結(jié)果與點(diǎn)對(duì)CRF模型的進(jìn)行對(duì)比，如圖1所示。

從室外道路場景語義分割結(jié)果可以看出，使用點(diǎn)對(duì)CRF模型的分割結(jié)果在圖像的局部區(qū)域存在缺失、模糊或者出現(xiàn)明顯的邊緣帶現(xiàn)象，這是因?yàn)辄c(diǎn)對(duì)CRF只考慮了局部鄰域關(guān)系，無法表達(dá)像素點(diǎn)之間的高級(jí)依賴關(guān)系;相對(duì)于點(diǎn)對(duì)CRF模型來說，全連接CRF模型對(duì)室外道路場景圖像的分割結(jié)果有了明顯提高，不僅能夠有效地描述圖像區(qū)域一致性，而且分割的邊緣細(xì)節(jié)也較為清晰，因此基于全連接CRF模型的圖像語義分割方法在室外道路場景上能夠得到較好的語義分割結(jié)果。

4.2 定量分析

為了進(jìn)一步量化點(diǎn)對(duì)CRF模型和全連接CRF模型對(duì)室外道路場景圖像的語義分割結(jié)果，采用PRI指標(biāo)[13]進(jìn)行評(píng)估。從表1不同模型分割結(jié)果的PRI值對(duì)比可以看出，第1、2、3幅圖在基于全連接CRF模型下的PRI值比基于點(diǎn)對(duì)CRF模型下的依次增長了2.51%、19.6%、17.1%。

5 結(jié)論

本文針對(duì)基于點(diǎn)對(duì)CRF模型的道路場景語義分割方法僅考慮了局部鄰域關(guān)系，無法表達(dá)像素點(diǎn)之間的相互依賴關(guān)系，容易產(chǎn)生誤分割現(xiàn)象的問題，提出基于全連接CRF模型的道路場景圖像語義分割方法，利用鄰域像素之間的相互作用引入空間全局信息，獲得更準(zhǔn)確的道路場景語義分割結(jié)果。同時(shí)采用道路場景數(shù)據(jù)庫Sowerby-7中的圖像進(jìn)行實(shí)驗(yàn)對(duì)比分析，驗(yàn)證了所提模型的可行性和有效性。實(shí)驗(yàn)結(jié)果表明，與基于點(diǎn)對(duì)CRF模型相比，全連接CRF模型在室外道路場景語義分割和標(biāo)注的準(zhǔn)確率方面都能夠得到較好的實(shí)驗(yàn)效果。

參考文獻(xiàn)：

[1] PASSANI M， YEBES J J， BERGASA L M. Fast pixelwise road inference based on Uniformly Reweighted Belief Propagation[C]//.Intelligent Vehicles Symposium.2015.

[2] ZHOU H， KONG H， WEI L， et al. Efficient Road Detection and Tracking for Unmanned Aerial Vehicle[J]. IEEE Transactions on Intelligent Transportation Systems， 2015， 16（1）： 297-309.

[3] SHIN B S， XU Z， KLETTE R. Visual lane analysis and higher-order tasks： a concise review[J]. 2014， 25（6）： 1519-47.

[4] HILLEL A B， LERNER R， DAN L， et al. Recent progress in road and lane detection： a survey[J]. Machine Vision & Applications， 2014， 25（3）： 727-45.

[5] SIRMACEK B， UNSALAN C. Road detection from remotely sensed images using color features[C]//.International Conference on Recent Advances in Space Technologies.2011.

[6] HOU X， ZHANG T， XIONG G， et al. Image resampling detection based on texture classification[J]. Multimedia Tools & Applications， 2014， 72（2）： 1681-708.

[7] 肖紅光， 文俊， 陳立福， 等. 一種新的高分辨率SAR圖像道路提取算法[J]. 計(jì)算機(jī)工程與應(yīng)用， 2016， 52（15）： 198-202.

[8] COSTEA A D， NEDEVSCHI S. Fast traffic scene segmentation using multi-range features from multi-resolution filtered and spatial context channels[C]//.Intelligent Vehicles Symposium.2016.

[9] GENG X， ZHAO J. Interactive Image Segmentation with Conditional Random Fields[M]. IEEE Computer Society， 2008.

[10] SHOTTON J， WINN J， ROTHER C， et al. TextonBoost for Image Understanding： Multi-Class Object Recognition and Segmentation by Jointly Modeling Texture， Layout， and Context[J]. International Journal of Computer Vision， 2009， 81（1）： 2-23.

[11] 李瀚， 楊曉峰， 鄧紅霞， 等. 基于網(wǎng)格搜索算法的PCNN模型參數(shù)自適應(yīng)[J]. 計(jì)算機(jī)工程與設(shè)計(jì)， 2017， 38（1）： 192-7.

[12] KR?HENBüHL P， KOLTUN V. Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials[J]. 2012，

[13] MIGNOTTE M. A Label Field Fusion Bayesian Model and Its Penalized Maximum Rand Estimator for Image Segmentation[M]. 2010.

【通聯(lián)編輯：唐一東】