基于顏色屬性的信號指示燈檢測識(shí)別

胡燦林，肖尚華

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065）

0 引言

在工業(yè)生產(chǎn)中，信號指示燈可以用來指示相應(yīng)設(shè)備的運(yùn)行情況。由于通常情況下，工業(yè)生產(chǎn)中會(huì)有大量信號指示燈存在，每個(gè)指示燈指示設(shè)備各不相同、指示的報(bào)警狀態(tài)也各不相同，這就要求工作人員對每個(gè)指示燈進(jìn)行長時(shí)間甚至實(shí)時(shí)監(jiān)視，很容易出現(xiàn)遺漏或者誤判的情況，造成較嚴(yán)重的生產(chǎn)損失。隨著計(jì)算機(jī)圖像處理技術(shù)的不斷發(fā)展，可以充分利用圖像處理技術(shù)為信號指示燈檢測識(shí)別提供幫助，將圖像處理技術(shù)部署在監(jiān)控或巡檢的工業(yè)機(jī)器人內(nèi)，可以實(shí)現(xiàn)實(shí)時(shí)信號指示燈狀態(tài)檢測識(shí)別。

在圖像處理研究和應(yīng)用中，往往對圖像數(shù)據(jù)集中的某些特定的、具有獨(dú)特性質(zhì)的特征感興趣，通過將有利于分類識(shí)別的特征分離提取出來，形成特征圖像，并在此基礎(chǔ)上對目標(biāo)進(jìn)一步采取一些處理。信號指示燈識(shí)別屬于圖像模式識(shí)別，由于信號指示燈在識(shí)別過程中，色彩特征作為其最大區(qū)分特征，因此以往研究都基于信號指示燈的顏色特征進(jìn)行指示燈檢測和狀態(tài)識(shí)別。文獻(xiàn)[1]設(shè)計(jì)了一種數(shù)字信號等的識(shí)別方法，該識(shí)別方法分為兩部分，第一部分為預(yù)處理，采用基于顏色-形狀特征的目標(biāo)檢測算法對信號燈和環(huán)境背景進(jìn)行抽取分離，第二部分為采用基于BP神經(jīng)網(wǎng)絡(luò)的識(shí)別算法對數(shù)字指示燈進(jìn)行識(shí)別，其圖像預(yù)處理部分采用RGB圖像轉(zhuǎn)換為HIS色彩空間圖像。文獻(xiàn)[2]對視頻監(jiān)控中指示燈閃爍狀態(tài)和顏色的變化進(jìn)行了討論，其利用色差信息來判斷指示燈紅綠顏色的變化，在算法顏色亮度計(jì)算時(shí)，會(huì)把RGB顏色圖像轉(zhuǎn)化為YUV模式。上述算法迎合了人的視覺系統(tǒng)，提取了顏色亮度特征信息，提高了顏色亮度敏感度，但對于存在光照變化的圖像及多顏色狀態(tài)的信號指示燈，算法效果易受顏色失真而影響檢測識(shí)別效果。

1 顏色屬性

1.1 顏色屬性空間

顏色屬性是由文獻(xiàn)[3，4]提出的一種基于潛在語義模型的特殊顏色空間算法，其很大程度改善了原始觀測的RGB顏色的魯棒性，通過從帶有顏色標(biāo)簽信息的自然圖像中，選取了11種較為常見的基本顏色（黑色、藍(lán)色、棕色、灰色、綠色、橘色、粉色、紫色、紅色、白色以及黃色）作為顏色屬性，建立起原始三維RGB空間到11維顏色屬性空間的概率映射關(guān)系，并用概率分布來代替原始的像素值。由于顏色屬性建立起了觀測顏色和本質(zhì)顏色之間的映射關(guān)系，因而能夠適應(yīng)光照等變化造成的顏色失真，實(shí)現(xiàn)了顏色特征的魯棒表示，顏色屬性空間應(yīng)用到目標(biāo)跟蹤和檢測領(lǐng)域，取得了較好的效果。

1.2 顏色屬性訓(xùn)練

顏色屬性的訓(xùn)練基于概率潛在語義分析（PLSA）算法。PLSA算法來源于自然語言處理研究，通過將顯性的文檔和詞匯關(guān)系抽象出潛在主題并以概率的形式表達(dá)出來。假設(shè)分別表示為文檔和詞匯集合，表示潛在主題集合，n(d,w)表示詞匯w出每個(gè)文檔d的次數(shù)。PLSA只考慮單詞在文檔中的出現(xiàn)頻率，忽略其出現(xiàn)的先后次序。假設(shè)“文檔—單詞”之間以及它們所包含的潛在主題都是獨(dú)立分布的，那么，一個(gè)在D×W上的聯(lián)合概率分布p(d,w)可定義為：

則在PLSA模型中，詞匯w在文檔d中的條件概率p(w|d)可定義為：

上式表示潛在主題在文檔d中出現(xiàn)的概率，表示單詞w屬于潛在主題z的概率，且和都服從離散多項(xiàng)分布，屬于隱含變量，因此和可以采用最大期望（EM）算法最大化其似然函數(shù)來進(jìn)行求解，似然函數(shù)如下所示：

顏色屬性訓(xùn)練采用PLSA算法，圖像和像素點(diǎn)作為已知樣本，分別對應(yīng)文檔d和詞匯w，圖像內(nèi)的顏色屬性對應(yīng)于潛在主題z。如圖1所示，首先為帶顏色標(biāo)簽圖像建立LAB空間顏色直方圖，帶顏色標(biāo)簽的圖像可以為自然圖像，此處以信號指示燈為例，但在訓(xùn)練顏色屬性時(shí)，信號指示燈圖像的bin對顏色屬性的訓(xùn)練不作為參考。由于LAB顏色空間是慣用來描述人眼可見的所有顏色的最完備的色彩模型，因此先將原始RGB圖像轉(zhuǎn)換為LAB圖像，LAB顏色空間直方圖中的每個(gè)bin對應(yīng)PLSA模型中的單詞，可以計(jì)算出每個(gè)bin在圖像中出現(xiàn)的概率，因此可以作為先驗(yàn)分布。然后，將顏色屬性數(shù)量設(shè)為11，每種顏色屬性為上述11種基本顏色。由于PLSA算法本質(zhì)在于計(jì)算出最能表示先驗(yàn)分布的潛在主題（顏色主題），這一步驟可以用圖1中的矩陣分解來表示，因此可以通過EM算法來估計(jì)，其中表示每幅圖像中各種顏色屬性的特定混合系數(shù)，圖像中與已知標(biāo)簽相同的顏色被賦予會(huì)擁有較高的概率；而作為算法最終要求得的顏色屬性分布，其每一列代表顏色屬性在LAB顏色空間的分布情況，每一行每個(gè)bin對應(yīng)屬于某一顏色屬性的概率，且每一行的概率和為1。

圖1 基于PLSA算法的顏色屬性訓(xùn)練

2 算法實(shí)現(xiàn)及實(shí)驗(yàn)

2.1 指示燈狀態(tài)檢測識(shí)別流程

根據(jù)顏色屬性訓(xùn)練可以得到每個(gè)bin在顏色屬性空間上的分布概率，對每一張包含信號指示燈的輸入圖像，首先計(jì)算每一個(gè)像素所對應(yīng)的bin（文章將每個(gè)通道劃分為32個(gè)bin），再根據(jù)該bin從中找出其對應(yīng)11種顏色屬性對應(yīng)的概率值，依次遍歷輸入圖像所有像素點(diǎn)，最終可以得到一個(gè)11維的概率特征圖像，每一維的概率特征圖像對應(yīng)輸入圖像在每一個(gè)顏色屬性上的空間映射。在信號指示燈識(shí)別過程中，每一幀圖像都可以作為輸入圖像，然后根據(jù)識(shí)別指示燈的顏色類別，選擇其中一維或多維概率特征圖像進(jìn)行融合以及二值化，得到該類顏色指示燈的一個(gè)顏色分割圖像，最終可以將輸入圖像中含指示燈類似顏色的像素歸為1，不含指示燈的像素歸為0。由于輸入圖像可能存在和指示燈不同狀態(tài)顏色相似的像素點(diǎn)，得到的顏色分割圖像存在部分噪聲，結(jié)合腐蝕、膨脹及開閉等形態(tài)學(xué)圖像處理方法及指示燈形狀特征進(jìn)行去噪，最后可以獲取還原指示燈輪廓的二值圖像，進(jìn)而可以獲取指示燈狀態(tài)及指示燈在原圖像中的位置。以識(shí)別紅色、綠色兩種信號指示燈為例，圖2為指示燈狀態(tài)檢測識(shí)別流程圖。

圖2 指示燈狀態(tài)檢測識(shí)別流程圖

2.2 仿真實(shí)驗(yàn)

實(shí)驗(yàn)數(shù)據(jù)采集自發(fā)電站站內(nèi)巡檢機(jī)器人在巡檢過程中所拍攝的照片，本文選取了帶有信號指示燈的機(jī)柜圖像作為實(shí)驗(yàn)數(shù)據(jù)，部分?jǐn)?shù)據(jù)如圖3所示。

圖3 部分帶信號指示燈的機(jī)柜圖片

（1）獲取顏色屬性特征圖像

根據(jù)已經(jīng)訓(xùn)練好的每個(gè)bin在顏色屬性空間上的分布概率p(w|z)，對每一張輸入的圖像，都為RGB三通道圖像，將每個(gè)通道劃分為32個(gè)bin，并計(jì)算三通道圖像每個(gè)位置像素點(diǎn)歸屬的bin，再根據(jù)，在映射處理時(shí)，找到“bin-顏色屬性”對應(yīng)關(guān)系，最終將該像素點(diǎn)映射到顏色屬性空間，可以得到11維的顏色屬性特征圖像，在實(shí)驗(yàn)過程中，計(jì)算每個(gè)顏色特征圖像時(shí)，將屬于該顏色屬性的像素點(diǎn)設(shè)為[255,255,255]，否則設(shè)為[0,0,0]，圖4為輸入圖像和11維顏色屬性特征圖像，從左至右、從上至下依次為原圖像、黑色、藍(lán)色、棕色、灰色、綠色、橘色、粉色、紫色、紅色、白色、黃色特征圖像。

（2）指示燈檢測和狀態(tài)識(shí)別

由圖4可以看出，紅色特征圖像可以很好地將信號指示燈與背景分離開來，從而實(shí)現(xiàn)指示燈分割。在紅色特征圖像中的指示燈區(qū)域，雖然整體出現(xiàn)高亮，但其邊緣出現(xiàn)一些像素空洞，從而導(dǎo)致對同一指示燈區(qū)域出現(xiàn)多個(gè)顏色分割塊的現(xiàn)象，此外，當(dāng)背景出現(xiàn)同樣紅色像素點(diǎn)時(shí)，在非指示燈區(qū)域，有可能會(huì)出現(xiàn)高亮區(qū)域，形成噪音像素區(qū)域。為了解決這一問題，本實(shí)驗(yàn)采用形態(tài)學(xué)方法來解決指示燈區(qū)域內(nèi)空洞問題并去除噪音像素點(diǎn)。圖5為采用形態(tài)學(xué)中的閉運(yùn)算處理的對比效果圖，從圖中可以看出，形態(tài)學(xué)處理后的圖像，指示燈分割區(qū)域完整，且非指示燈區(qū)域無噪音像素點(diǎn)出現(xiàn)。

圖4 輸入圖像和11維顏色屬性特征圖像

圖5 形態(tài)學(xué)圖像處理對比圖

對特征圖像進(jìn)行形態(tài)學(xué)處理后，原始圖像中的指示燈輪廓已經(jīng)較為完整，再利用MATLAB中的二值圖像輪廓提取函數(shù)以及輪廓最小外接矩形計(jì)算函數(shù)，即可完成信號指示燈的定位任務(wù)。

對于信號指示燈狀態(tài)識(shí)別問題，由于信號指示燈有多種顏色，且每種顏色的信號指示燈有開和關(guān)這兩種狀態(tài)，因此對于同一指示燈的不同狀態(tài)，需要借助多個(gè)顏色的特征圖像來分別完成。

在實(shí)驗(yàn)中，“紅色關(guān)閉狀態(tài)”的指示燈，提取了紅色特征圖像進(jìn)行輔助檢測識(shí)別；“紅色打開狀態(tài)”的指示燈，則提取了紅色特征圖像和白色特征圖像進(jìn)行輔助檢測識(shí)別，因?yàn)榧t色指示燈在打開狀態(tài)下，指示燈中心部分為白色，邊緣為紅色，因此將紅色特征圖像和白色特征圖像中的輪廓中心進(jìn)行對比，當(dāng)白色特征圖像中的輪廓中心的像素值為[255,255,255]，而該位置在紅色特征圖像對應(yīng)的輪廓中心像素值為[0，0，0]時(shí)，再將兩個(gè)輪廓進(jìn)行合并，即可將其歸類為“紅色打開狀態(tài)”的信號指示燈；“綠色關(guān)閉狀態(tài)”的指示燈，提取了綠色特征圖像進(jìn)行輔助檢測識(shí)別；與紅色打開狀態(tài)的指示燈的處理方式類似，對“綠色打開狀態(tài)”的指示燈，提取了綠色特征圖像和白色特征圖像進(jìn)行輔助檢測識(shí)別。在實(shí)際應(yīng)用中，可以先將顏色進(jìn)行分類，并為每種狀態(tài)封裝一個(gè)算法接口，在檢測識(shí)別過程中，依次調(diào)用每個(gè)算法接口即可完成檢測識(shí)別任務(wù)。圖6為部分實(shí)驗(yàn)數(shù)據(jù)的檢測識(shí)別效果圖。

3 結(jié)語

本文基于顏色屬性來完成對信號指示燈的檢測識(shí)別。顏色特征作為信號指示燈最突出的特征，文章采用基于顏色屬性的方法進(jìn)行顏色特征提取，建立了觀測顏色和本質(zhì)顏色之間的映射關(guān)系，完成了顏色特征的有效提取，一定程度上解決了由于光照、視角等因素造成的圖像失真問題。該選取了發(fā)電站內(nèi)帶信號指示燈的機(jī)柜圖像作為實(shí)驗(yàn)數(shù)據(jù)，實(shí)驗(yàn)結(jié)果表明，該方法能很好地檢測出輸入圖像中出現(xiàn)的信號指示燈，并能準(zhǔn)確識(shí)別信號指示燈的開、關(guān)狀態(tài)。

圖6 信號指示燈的檢測識(shí)別效果圖

參考文獻(xiàn)：

[1]任勇,彭靜玉.基于BP神經(jīng)網(wǎng)絡(luò)的交通信號數(shù)字指示燈識(shí)別[J].計(jì)算機(jī)與現(xiàn)代化，2013(4):77-80.

[2]黃戰(zhàn)華,姜永奎,張旺,等.基于視頻圖像的指示燈狀態(tài)監(jiān)測識(shí)別技術(shù)研究[J].傳感技術(shù)學(xué)報(bào),2010，23(4):543-547.

[3]Weijer,Joost Van De,C.Schmid,J.Verbeek.Learning Color Names from Real-World Images.Computer Vision and Pattern Recognition,2007.CVPR'07.IEEEConferenceon IEEE,2007:1-8.

[4]Van d W J,Schmid C,Verbeek J,etal.Learning Color Names for Real-World Applications[J].IEEE Transactions on Image Processing A Publication of the IEEESignalProcessing Society,2009,18(7):1512-23.