基于隨機(jī)森林和超像素分割優(yōu)化的車載紅外圖像彩色化算法

沈振一，孫韶媛，侯俊杰，趙海濤

?

基于隨機(jī)森林和超像素分割優(yōu)化的車載紅外圖像彩色化算法

沈振一1,2，孫韶媛1,2，侯俊杰1,2，趙海濤3

（1. 東華大學(xué) 信息科學(xué)與技術(shù)學(xué)院，上海 201620；2. 東華大學(xué) 數(shù)字化紡織服裝技術(shù)教育部工程研究中心，上海 201620；3. 華東理工大學(xué) 信息科學(xué)與工程學(xué)院，上海 200237）

為了將紅外圖像中所包含的信息更加友好、直觀地呈現(xiàn)給用戶，改善用戶對(duì)于紅外圖像的理解效果，針對(duì)車載紅外圖像的特點(diǎn)，提出了一種基于隨機(jī)森林分類器和超像素分割算法相結(jié)合的車載紅外圖像彩色化算法。首先對(duì)原圖的各個(gè)像素點(diǎn)進(jìn)行特征提取，然后訓(xùn)練隨機(jī)森林分類器，使它能夠?qū)Υ郎y(cè)試圖像的各個(gè)像素點(diǎn)進(jìn)行正確的分類。再使用超像素分割與直方圖統(tǒng)計(jì)相結(jié)合的方法對(duì)分類結(jié)果圖像進(jìn)行優(yōu)化。最后將優(yōu)化后的分類結(jié)果圖像轉(zhuǎn)換到HSV色彩空間進(jìn)行對(duì)應(yīng)的色彩傳遞。通過實(shí)驗(yàn)證明該方法能夠在很好的對(duì)紅外圖像進(jìn)行彩色化處理的同時(shí)，保證色彩傳遞的正確性和實(shí)時(shí)性。

車載紅外圖像；圖像彩色化；隨機(jī)森林；超像素分割

0 引言

紅外圖像的主要研究?jī)?nèi)容包括目標(biāo)檢測(cè)[1-2]、深度估計(jì)[3]、彩色化[4]等。近年來隨著圖像彩色化研究的不斷深入，如基于標(biāo)簽轉(zhuǎn)移算法的圖像分類彩色化技術(shù)[5]和分層分割技術(shù)[6]以及使用局部特征描述符和條件隨機(jī)場(chǎng)（CRF）相結(jié)合的圖像分類彩色化技術(shù)[7]。但在紅外圖像彩色化研究的領(lǐng)域中，主要依然停留在基于圖像分割基礎(chǔ)上的紅外圖像彩色化算法[8]，導(dǎo)致最終的彩色化結(jié)果過分依賴于圖像分割的結(jié)果?；跇?biāo)簽轉(zhuǎn)移的彩色化算法則需要建立大量匹配圖像庫(kù)，且隨著庫(kù)中的圖像增多，算法進(jìn)行圖像匹配所花費(fèi)的時(shí)間也越多。

本文提出了一種基于隨機(jī)森林和超像素分割優(yōu)化的紅外圖像彩色化算法，該算法具有輸出結(jié)果穩(wěn)定，實(shí)時(shí)性能優(yōu)越等特點(diǎn)，避免了基于分割算法中只要出現(xiàn)分割錯(cuò)誤而出現(xiàn)大面積的色彩錯(cuò)誤傳遞的問題。首先需要對(duì)樣本圖像進(jìn)行特征提取，并對(duì)隨機(jī)森林分類器進(jìn)行訓(xùn)練。將訓(xùn)練好的上述分類器用于對(duì)測(cè)試圖像像素點(diǎn)的分類，根據(jù)圖像的特點(diǎn)分類器將像素點(diǎn)分成天空、地面和樹木3個(gè)類別。由于在分類器輸出的結(jié)果中存在很少部分的像素點(diǎn)被錯(cuò)誤分類的情況，從而出現(xiàn)分類輸出結(jié)果不連續(xù)的現(xiàn)象。需要對(duì)分類器的輸出結(jié)果進(jìn)行優(yōu)化，去除那些被錯(cuò)誤分類的像素點(diǎn)。將最終分類圖像的色彩空間轉(zhuǎn)為HSV空間，根據(jù)對(duì)應(yīng)的分類賦予對(duì)應(yīng)的色調(diào)，并將原圖像的灰度值轉(zhuǎn)為最終彩色圖像的層的值。

1 隨機(jī)森林及特征提取

1.1 隨機(jī)森林算法

隨機(jī)森林算法由Leo Breiman[9]和Adele Cutler[10]提出，其實(shí)質(zhì)是一個(gè)包含多個(gè)決策樹的分類器?；贐ootstrap方法的重采樣，產(chǎn)生多個(gè)訓(xùn)練集。隨機(jī)森林算法在構(gòu)建決策樹時(shí)采用了隨機(jī)選取分裂屬性集的方法。當(dāng)測(cè)試數(shù)據(jù)進(jìn)入隨機(jī)森林時(shí)，即讓每一棵決策樹進(jìn)行分類，最后取所有決策樹中分類結(jié)果最多的那類為最終的結(jié)果。

1.2 基于Law’s掩膜的多尺度特征提取

對(duì)于每個(gè)像素點(diǎn)而言，需要計(jì)算一系列的特征值來捕捉每個(gè)像素及其周邊一定范圍內(nèi)的像素所蘊(yùn)含的視覺特征，同時(shí)需要對(duì)還需要結(jié)合該像素點(diǎn)的位置信息等。借鑒于文獻(xiàn)[11-12]中的特征提取方法，使用Law’s掩膜對(duì)圖像進(jìn)行3個(gè)尺度的特征提取，其特征如圖1所示。

圖1 Law’s掩膜

圖2即為L(zhǎng)aw’s特征掩膜，在特征提取時(shí)使用Law’s掩膜分別在上述訓(xùn)練圖像的3個(gè)不同尺度上進(jìn)行卷積，輸出結(jié)果為F(,)，＝1,2,…,9。定義每個(gè)超像素塊上的紋理能量如下式：

其中，當(dāng)＝2,4時(shí)的E()分別代表了像素紋理的能量和峰度特性。因此每個(gè)像素有9×3×2＝54個(gè)特征，最后再結(jié)合像素點(diǎn)上的、位置信息，那么對(duì)于每個(gè)像素提取了一個(gè)56維的特征與之對(duì)應(yīng)。

2 超像素分割和直方圖統(tǒng)計(jì)優(yōu)化算法

由于隨機(jī)森林的輸出結(jié)果圖中包含了部分不連續(xù)的錯(cuò)誤分類的點(diǎn)，所以本文使用超像素分割對(duì)原始的分類圖進(jìn)行分割，分割成超像素塊。再對(duì)超像素塊內(nèi)部進(jìn)行直方圖統(tǒng)計(jì)。在超像素內(nèi)部統(tǒng)計(jì)到的分類屬性最多的那一類，最終標(biāo)記為超像素所在的最終分類。

2.1 SLIC超像素分割

SLIC超像素分割由Radhakrishna Achanta等人[12-14]提出，與其它超像素分割算法[15-16]相比，該算法分割速度快、內(nèi)存使用效率高、算法效果好，非常適合對(duì)于車載紅外圖像的優(yōu)化處理。具體生成超像素算法如下：

2）在每個(gè)超像素中心位置的2范圍內(nèi)計(jì)算每個(gè)像素點(diǎn)到中心的距離。其距離計(jì)算公式如下式：

式中：c為色彩上距離；s為空間距離；用來調(diào)整c和s之間的比例關(guān)系。

3）每一個(gè)像素點(diǎn)都被歸為與它距離￠最小的類別。重新計(jì)算每個(gè)超像素的中心位置，重復(fù)步驟2）。

2.2 超像素內(nèi)部分類結(jié)果直方圖統(tǒng)計(jì)

為了去除隨機(jī)森林分類結(jié)果中存在部分像素點(diǎn)錯(cuò)誤分類的情況，增強(qiáng)像素點(diǎn)之間分類結(jié)果的連續(xù)性。在超像素分割之后，在超像素內(nèi)部使用直方圖統(tǒng)計(jì)，整個(gè)超像素的所屬分類結(jié)果將被標(biāo)記為統(tǒng)計(jì)結(jié)果中出現(xiàn)頻率最大的類別。若天空、地面、樹林和行人的所屬分類分別用數(shù)值0～3表示，超像素中包含某種分類結(jié)果的數(shù)量用()(?0,1,2,3)，某超像素塊所屬分類用Sup表示那么超像素直方圖統(tǒng)計(jì)公式如下所示：

()＝max(),?0,1,2,3Sup＝(3)

3 紅外圖像彩色化算法

首先創(chuàng)建和原始圖像大小一致的RGB圖像，將圖像的色彩空間轉(zhuǎn)換至HSV色彩空間。設(shè)1＝max{,,}，2＝min{,,}，RGB轉(zhuǎn)換為HSV色彩空間公式如下式：

式中：為彩色圖像的色調(diào)層；為彩色圖像的飽和度層；為彩色圖像的亮度層。在彩色化中根據(jù)先驗(yàn)知識(shí)，根據(jù)最終優(yōu)化后的分類輸出的分類結(jié)果，將對(duì)應(yīng)的色調(diào)和飽和度賦予對(duì)應(yīng)的像素點(diǎn)，其取值范圍均為0～1之間。

本文選用在自然界中最常用的天空、樹木、道路的色調(diào)，并且將行人作為重要的目標(biāo)物用紅色予以警示。如天空的色調(diào)值為0.55，樹木的色調(diào)為0.32，道路的色調(diào)為0.09，對(duì)應(yīng)的飽和度都為0.65，行人的色調(diào)值為0.016，飽和度值為0.92。關(guān)于色調(diào)與飽和度的取值可以有多種，彩色化后可以根據(jù)用戶的視覺習(xí)慣相應(yīng)調(diào)整。色調(diào)、飽和度亮度值如表1所示。

表1 彩色化色調(diào)、飽和度亮度值選用

由于紅外圖像主要為亮度信息，因此需要在彩色化后的圖像中保留這一至關(guān)重要的信息，因此將原紅外圖像的亮度值賦予給最終彩色化后的圖像的層。使得最終彩色化后的圖像保留了紅外圖像的原始信息。

4 實(shí)驗(yàn)步驟及結(jié)果分析

4.1 算法步驟總結(jié)

1）特征提取并訓(xùn)練隨機(jī)森林分類器。

2）測(cè)試圖片輸入訓(xùn)練好的隨機(jī)森林分類器進(jìn)行分類，獲得分類結(jié)果圖。由于隨機(jī)森林分類器分類輸出的結(jié)果只是根據(jù)局部像素點(diǎn)周圍的特征進(jìn)行分類，而局部特征缺少了對(duì)整個(gè)圖像全局信息和梯度變化等信息的把握，因而有必要引入超像素分割來從全局角度對(duì)圖像進(jìn)行處理。

3）對(duì)分類結(jié)果圖進(jìn)行超像素分割，將局部的像素點(diǎn)聚類成超像素塊，進(jìn)而對(duì)超像素塊進(jìn)行處理，并在超像素內(nèi)部進(jìn)行直方圖結(jié)果統(tǒng)計(jì)，最終確定超像素塊的所屬分類。

4）將色彩空間轉(zhuǎn)為HSV空間，根據(jù)對(duì)應(yīng)的分類賦予對(duì)應(yīng)的色調(diào)，并將原圖像的灰度值轉(zhuǎn)為最終彩色圖像的層的值。

算法流程圖如圖2所示。

圖2 算法流程框圖

4.2 實(shí)驗(yàn)結(jié)果

本文所使用的訓(xùn)練圖像的尺寸大小為344×132像素，去除邊后所使用的尺寸大小為340×128像素。本實(shí)驗(yàn)使用8幅圖像作為訓(xùn)練圖像，700幅圖像為測(cè)試圖像。訓(xùn)練用的8幅樣本圖像和對(duì)應(yīng)的分類圖像構(gòu)成了最原始的訓(xùn)練集。訓(xùn)練所使用的圖像的3個(gè)不同尺度的圖像與對(duì)應(yīng)像素分類圖如圖3所示。

圖3(a)～(c)分別為訓(xùn)練圖的3個(gè)不同尺度，不同尺度上的圖像包含的信息不同，尺度較小時(shí)包含的信息更加趨向于全局信息，大尺度則包含的局部信息更加豐富。(a)為圖像的原始尺度，圖像(b)為原始圖像在橫縱坐標(biāo)上按照2:1的比例采樣，采樣后再經(jīng)過縮放處理，所以(a)與(b)擁有相同的圖像尺寸，但尺度減小了1/4。同理圖像(c)在圖像(b)的基礎(chǔ)上進(jìn)行2:1采樣，在圖(b)的基礎(chǔ)上縮小了1/4。訓(xùn)練用的8幅樣本圖像和對(duì)應(yīng)的分類圖像構(gòu)成了最原始的訓(xùn)練集，如圖3(d)所示。

圖3 訓(xùn)練用圖的3個(gè)不同尺度與分類圖

將原始圖像中的像素通過人工標(biāo)定的方式得到如圖3(d)為訓(xùn)練圖像所對(duì)應(yīng)的分類圖。根據(jù)人的經(jīng)驗(yàn)將原始圖像的像素分類為不同的類別。對(duì)于圖像中像素的分的種類不同可以用不同的數(shù)字量表示，由于是灰度圖像因此每個(gè)像素點(diǎn)最多可以分出256種類別的分類。但是由于紅外圖像的分辨率和所包含的顏色信息不充分，所以分類的種類數(shù)目受到限制。

本文將訓(xùn)練圖像的像素點(diǎn)分成天空、樹木、道路、和行人4個(gè)類別，每一個(gè)像素點(diǎn)的特征向量輸入隨機(jī)森林分類器后都將歸為上述類別中的一種。在訓(xùn)練圖中將對(duì)應(yīng)的類別量化處理，將天空像素分類用數(shù)值0表示、樹木像素分類用100表示、道路像素分類用200表示、行人目標(biāo)用像素值255表示。

在原始的訓(xùn)練圖像上進(jìn)行特征提取，詳細(xì)方法如1.2節(jié)中所述。根據(jù)1.2可知，每個(gè)像素均有一個(gè)56維的特征向量代表該像素點(diǎn)與其周圍一定范圍內(nèi)圖像的特征。

將700幅測(cè)試圖像輸入隨機(jī)森林分類器中，根據(jù)所有的700幅原始圖像中選擇典型的9個(gè)場(chǎng)景作為示例，并且依照?qǐng)鼍暗臅r(shí)間順序排序。如圖4中第1行所示即為從車載紅外視頻中選取的原始圖像。如圖4中第2行所示為原始圖像經(jīng)過訓(xùn)練完畢的隨機(jī)森林分類器處理后輸出的分類圖像，通過分類器輸出后原始圖像中的每一像素都被標(biāo)記為對(duì)應(yīng)的所屬類別。

超像素分割算法對(duì)分類器輸出的圖像進(jìn)行分割并在超像素塊內(nèi)進(jìn)行直方圖統(tǒng)計(jì)。優(yōu)化結(jié)果如圖4中第3行所示，圖像通過超像素分割與超像素內(nèi)部直方圖統(tǒng)計(jì)優(yōu)化之后去除了那些不連續(xù)的錯(cuò)誤分類的像素點(diǎn)，增強(qiáng)了分類圖像的連續(xù)性。本文中由于紅外圖像的原始尺寸僅有340×128像素，所以若將超像素初始邊長(zhǎng)參數(shù)設(shè)置過小則無法去除噪點(diǎn)，同樣若參數(shù)的設(shè)置過大則可能會(huì)造成分割后超像素塊過大的問題，所以通過計(jì)算邊界準(zhǔn)確率來確定參數(shù)的最優(yōu)值[14]。本文中將初始的超像素邊長(zhǎng)大小值為＝10，即初始超像素塊中包含10×10＝100個(gè)像素點(diǎn)。

最終將優(yōu)化的結(jié)果圖像進(jìn)行彩色化處理最終的效果圖如圖4第4行所示，原始的車載紅外圖像根據(jù)對(duì)應(yīng)的分類賦予對(duì)應(yīng)的色彩。

4.3 算法效果對(duì)比分析

本文算法與基于Fisher評(píng)價(jià)函數(shù)的多閾值紅外圖像分割彩色化算法[8]進(jìn)行比較，結(jié)果如圖5所示。

由于像素點(diǎn)的錯(cuò)誤分類率將直接影響彩色化的效果，設(shè)定當(dāng)錯(cuò)誤分類像素占圖像所有像素?cái)?shù)目5%以上的情況為錯(cuò)誤的像素點(diǎn)超過閾值，因而不適合彩色化。因此分別通過統(tǒng)計(jì)700幅圖像中發(fā)生的錯(cuò)誤分類的像素點(diǎn)的數(shù)目若小于5%則可以進(jìn)行彩色化。達(dá)到彩色化要求的圖像的比例如表2所示。

由于基于Fisher評(píng)價(jià)函數(shù)的多閾值圖像分割彩色化算法，其最后彩色化結(jié)果嚴(yán)重依賴于分割的正確率，若分割錯(cuò)誤則將產(chǎn)生大片的錯(cuò)誤分類的像素，導(dǎo)致最后彩色化結(jié)果出現(xiàn)大面積的對(duì)應(yīng)像素的色調(diào)不正確，如地面出現(xiàn)了天空的色調(diào)。而文本的算法基于像素級(jí)別的分類，錯(cuò)誤的分類只會(huì)影響該像素，而不會(huì)導(dǎo)致其周圍的像素出現(xiàn)問題。再結(jié)合超像素分割和直方圖統(tǒng)計(jì)算法，將進(jìn)一步有效的遏制錯(cuò)誤像素錯(cuò)誤分類的情況，進(jìn)而使得最終的紅外圖像的彩色化更加準(zhǔn)確。

在實(shí)時(shí)性能方面，基于雙核I5-3470CPU和8GB內(nèi)存，本算法處理每一幀圖像的耗時(shí)大約為1.5～1.7s。

5 結(jié)語(yǔ)

本文對(duì)于車載紅外圖像彩色化提出了一種新的算法，經(jīng)過實(shí)驗(yàn)證明該算法對(duì)紅外圖像進(jìn)行彩色化處理的同時(shí)保證了色彩傳遞的正確性和實(shí)時(shí)性。由于紅外圖像的紋理信息較為單一，且只有亮度信息，所以目前階段對(duì)于車載紅外圖像的場(chǎng)景比較簡(jiǎn)單的情況進(jìn)行分類。且分類的種類比較單一，后續(xù)將對(duì)車載紅外圖像彩色化做進(jìn)一步的研究。

Fig.4 The results of the experiment

圖5 彩色化算法效果對(duì)比

Fig.5 Comparison of the algorithm results

表2 分類錯(cuò)誤像素小于5%的比例

[1] 孫寧, 翟尚禮, 趙春光. 掃描型紅外圖像實(shí)時(shí)目標(biāo)檢測(cè)研究[J]. 中國(guó)圖象圖形學(xué)報(bào), 2011(4): 600-605.

Sun Ning, Zhai Shangli, Zhao Chunguang. Studies on real-time target detection of scanning infrared images[J]., 2011(4): 600-605.

[2] 王艷, 鮑建躍, 林曉春, 等. 基于FPGA的紅外圖像目標(biāo)檢測(cè)[J]. 西安電子科技大學(xué)學(xué)報(bào), 2003(5): 403-407.

Wang Yan, Bao Jianyue, Lin Xiaochun, et al. Infrared image target detection based on FPGA[J]., 2003(5): 403-407.

[3] 孫韶媛, 李琳娜, 趙海濤. 采用KPCA和BP神經(jīng)網(wǎng)絡(luò)的單目車載紅外圖像深度估計(jì)[J]. 紅外與激光工程2013, 42(9): 2348-2352.

Sun Shaoyuan, Li Linna, Zhao Haitao. Depth estimation from monocular vehicle infrared images based on KPCA and BP neural network[J]., 2013, 42(9): 2348-2352.

[4] 鄒芳喻, 孫韶媛, 席林, 等. 具有深度視覺感的車載紅外圖像彩色化方法[J]. 激光與光電子學(xué)進(jìn)展, 2013, 50(1): 106-112.

Zou Fangyu, Sun Shaoyuan, Xi Lin, et al. Color stereo vision method of vehicular infrared images with depth perception[J]., 2013, 50(1): 106-112.

[5] Ce Liu, Yuen, J: Nonparametric Scene Parsing via Label Transfer[J]., 2011, 33 (12): 2368-2382.

[6] Yang Y, Hallman S, Ramanan D. Layered object models for image segmentation[J]., 2012, 34(9): 1731-43.

[7] Yang Yiqing, Li Zhouyuan, Zhang Li. Local label descriptor for example based semantic image labeling[C]//, 2012, 7578: 361-375.

[8] 代中華, 孫韶媛, 許真, 等. 一種車載紅外視頻彩色化算法[J]. 紅外技術(shù), 2010, 32(10): 0595-0600.

Dai Zhonghua, Sun Shaoyuan, Xu Zhen, et al. A colorization algorithm for vehicle infrared vehicle infrared video[J]., 2010, 32(10): 0595-0600.

[9] Breiman L. Random forests[J]., 2001, 45(1):5-32.

[10] Andy L, Matthew W. Classification and regression by random forest[J]., 2002, 2(3):18-22.

[11] Saxena A, Sun M, Aanrew Y Ng. Learning 3-D scene structure from a single still image[C]//11, 2007: 1-8.

[12] Saxena A, Sun M, Aanrew Y Ng. Make 3D: Learning 3-D scene structure from a single still image[J]., 2009, 31(5): 820-840.

[13] 王春瑤, 陳俊周, 李煒. 超像素分割算法研究綜述[J]. 計(jì)算機(jī)應(yīng)用研究, 2014, 31(1): 0006-0012.

Wang Chunyao, Chen Junzhou, Li Wei. Review on superpixel segmentation algorithms[J]., 2014, 31(1): 0006-0012.

[14] Achanta R, Shaji A, Smith K, et al. SLIC Superpixels compared to state-of-the-art superpixel methods[J]., 2012, 34(11): 2274-2282.

[15] Felzenszwalb P F, Huttenlocher D P. Efficient graph-based image segmentation[J]., 2004, 59(2): 167-181.

[16] Liu M Y, Tuzel O, Ramalingam, et al．Entropy rate superpixel segmentation[C]//, 2011: 2097-2104.

The Vehicle Infrared Image Colorization Algorithm Based on Random Forest and Superpixel Segmentation

SHEN Zhen-yi1,2，SUN Shao-yuan1,2，HOU Jun-jie1,2，ZHAO Hai-tao3

（1.，，201620，；2.,，，201620，；3.，，200237，）

In order to improve the effect of the information contained in the infrared image which makes the infrared image much more friendly and intuitive to users. According to the characteristics of the vehicular infrared image, this paper proposes a vehicular infrared image colorization algorithm, which is combined of random forest classifier and superpixel segmentation algorithm. Firstly this method extracts the original characteristic of each pixel, and then trains the random forest classifier which can make sure that each test image classified correctly. Secondly it can use the combination of superpixel segmentation and histogram statistics to optimize the classification results. Finally it can convert the optimization of classification result images to HSV color space and do the corresponding color transfer. The experiments prove that this method can be very good in dealing with infrared image colorization, and at the same time, it can ensure the accuracy and timeliness of color transfer.

vehicular infrared image，image colorization，random forest，superpixel segmentation

TN219

A

1001-8891(2015)12-1041-06

2015-05-11；

2015-07-15.

沈振一（1990-），男，浙江嘉興人，碩士研究生，研究方向?yàn)榧t外圖像處理、機(jī)器學(xué)習(xí)。E-mail：szy1900@qq.com。

孫韶媛，女，副教授。E-mail：shysun@dhu.edu.cn。

國(guó)家自然科學(xué)基金資助項(xiàng)目，編號(hào)：61072090，61205017，61375007。