基于顏色信息的盲道區(qū)域檢測與跟隨算法

周毅，趙群飛

0 引言

根據(jù)2006年第二次全國殘疾人抽樣調(diào)查數(shù)據(jù)公報(bào)，我國現(xiàn)有盲人1233萬，大約占?xì)埣踩丝倲?shù)的15%。盲人出行常用的探路方式有盲杖包括電子導(dǎo)盲杖、導(dǎo)盲犬等等。電子導(dǎo)盲杖的導(dǎo)航服務(wù)主要包括3個(gè)功能部分：感知周圍環(huán)境，提供位置信息和行進(jìn)方向信息和最優(yōu)路徑規(guī)劃?，F(xiàn)有的電子導(dǎo)盲杖系統(tǒng)綜合了多種傳感器信息，文獻(xiàn)[1]中所提導(dǎo)盲系統(tǒng)融合了三維加速度、光和溫度信息，文獻(xiàn)[2]中的系統(tǒng)還包括了GPS和GIS等等。

作者所在實(shí)驗(yàn)室開發(fā)了一種基于網(wǎng)絡(luò)視像頭和 DSP圖像處理的電子導(dǎo)盲杖系統(tǒng)[3]、[4]，從攝像頭采集的視頻信息中檢測出盲道區(qū)域，估算出盲道邊界位置，通過聲音或者其它人機(jī)交互接口與攜帶該設(shè)備的盲人交互，可指引盲人沿著盲道行走。因此，盲道邊界的識別和跟蹤是實(shí)現(xiàn)這一技術(shù)的首要問題。本文在上述研究的基礎(chǔ)上，重新設(shè)計(jì)了基于顏色信息的盲道區(qū)域識別與跟隨算法，側(cè)重于解決在光照改變與盲道路面有投射陰影的條件下盲道區(qū)域的檢測，識別出盲道區(qū)域后，檢測盲道邊界信息，計(jì)算出位置偏差和方向偏差。算法框架如圖：

圖1 算法流程

1 盲道類型

《城市道路和建筑物無障礙設(shè)計(jì)規(guī)范》中對盲道設(shè)計(jì)做了比較詳細(xì)的規(guī)定：城市中心區(qū)道路、廣場、步行街、商業(yè)街、橋梁、隧道、立體交叉及主要建筑物地段的人行道應(yīng)設(shè)盲道；人行天橋、人行地道、人行橫道及主要公交車站應(yīng)設(shè)提示盲道。指引殘疾者向前行走的盲道應(yīng)為條形的行進(jìn)盲道；在行進(jìn)盲道的起點(diǎn)、終點(diǎn)及拐彎處應(yīng)設(shè)圓點(diǎn)形的提示盲道。

典型盲道如圖二所示

圖2 (a)中紅線框出部分為行進(jìn)盲道(b)中紅線框出部分為提示盲道

2 混合高斯模型與長期﹑短期和陰影混合的高斯模型

盲道的顏色信息是一種有效的圖像特征。物體顏色受光照條件，相機(jī)參數(shù)，視角等很多因素影響。單一的高斯模型無法很好的表示顏色分布信息。采用混合高斯模型，可以模擬盲道顏色分布信息，并且根據(jù)檢測得到的盲道信息實(shí)時(shí)地更新模型參數(shù)。

盲道顏色用由K個(gè)高斯分布構(gòu)成的混合高斯模型來建模，即：

式中，K是混合高斯模型中高斯分布的個(gè)數(shù)，一般取3–5；X是像素的值，由紅，綠，藍(lán)三色分量構(gòu)成；Wi表示混合模型中第ith個(gè)高斯分布的權(quán)系數(shù)的估計(jì)值；iμ和iε分別表示混合高斯模型中第ith個(gè)高斯分布的均值向量和協(xié)方差矩陣（此處假設(shè)像素的紅，綠，藍(lán)分量互相獨(dú)立）；η表示高斯分布概率密度函數(shù)。

2.1 混合高斯模型的參數(shù)更新

在視頻流中，檢測出盲道區(qū)域，同時(shí)以檢測出的盲道區(qū)域信息，更新混合高斯模型。

如果檢測出混合高斯模型中至少有一個(gè)高斯分布與更新用的像素值X匹配，那么混合高斯模型的參數(shù)更新規(guī)則為：

對于不匹配的高斯分布，它們的均值iμ和協(xié)方差矩陣iε保持不變；

對于匹配的高斯分布，它們的均值iμ和協(xié)方差矩陣iε按照下式更新：

式中ρ為學(xué)習(xí)速率。

如果混合高斯模型中沒有高斯分布與用作更新的像素相匹配，那么將最不可能代表盲道的高斯分布重新賦值，即

式中，W0是一個(gè)預(yù)先給定的較小正值；I為一個(gè)3×3的單位矩陣。

然后按照下式更新所有K個(gè)高斯分布的權(quán)系數(shù)ωi：

式中，如果高斯分布與更新用的像素值X匹配，則Mi=1，否則Mi=0。

為了提高系統(tǒng)的處理速度，本文采用隔3取一法，每隔3行和3列取盲道區(qū)域像素，更新參數(shù)。

2.2 盲道路面檢測

在采集的視頻流中，需要檢測盲道區(qū)域，盲道區(qū)域的檢測按照如下步驟進(jìn)行：

選擇上述序列中的前B個(gè)高斯分布作為盲道模型。

式中T為預(yù)定的閾值T≤1。

1)視屏流中的每一個(gè)像素點(diǎn)的值，如果與該B個(gè)高斯分布的任何一個(gè)匹配，我們就認(rèn)為該像素點(diǎn)是盲道區(qū)域像素點(diǎn)。

2.3 長期混合高斯模型和短期混合的高斯模型

在戶外條件下，盲道顏色信息隨著環(huán)境的改變而改變，這要求系統(tǒng)自動地更新盲道顏色模型。

根據(jù)混合高斯模型采用的訓(xùn)練樣本的時(shí)間跨度不同，建立了兩個(gè)盲道顏色分布的混合高斯模型，短期混合高斯模型和長期混合高斯模型，建立一個(gè)能有效及時(shí)地適應(yīng)盲道路面狀況改變的檢測系統(tǒng)。

1) 短期模型：短期模型是以較近時(shí)間段內(nèi)檢測到的盲道信息所建立的模型。該模型更新及時(shí)，快速適應(yīng)光照條件的變化，及時(shí)地描述最近時(shí)間段內(nèi)盲道路面情況。在短期模型中，我們引入“學(xué)習(xí)窗口”的概念，即以最近時(shí)間段內(nèi)的M幀盲道檢測結(jié)果圖片作為混合高斯模型的訓(xùn)練樣本。該學(xué)習(xí)窗口中的圖片，采用先進(jìn)先出的方式，當(dāng)新的N(0≤N≤M)幀盲道圖片進(jìn)入學(xué)習(xí)窗口時(shí)，淘汰最早進(jìn)入N幀盲道圖片。每隔一個(gè)固定的時(shí)間，以這些圖片為學(xué)習(xí)樣本重新建立與更新短期模型。短期模型的建立與參數(shù)更新如3.1節(jié)所述。

2) 長期模型：長期模型所采用的訓(xùn)練樣本擁有更長的時(shí)間跨度，本文使用很長時(shí)間段內(nèi)采集的盲道圖片，采用EM（Expectation-maximization）算法估計(jì)模型參數(shù)。這個(gè)模型描述盲道顏色的一個(gè)比較穩(wěn)定的分布。

部分檢測結(jié)果如圖三所示：

圖3 (a)盲道原圖 (b)長期模型檢測結(jié)果 (c)短期模型檢測結(jié)果。

圖3是長期與短期模型的檢測結(jié)果。上述檢測結(jié)果顯示，短期模型較快的適應(yīng)了自然條件的變化。長期模型檢測結(jié)果比較可靠。

2.4 檢測結(jié)果的融合與后期處理

短期模型所采用的學(xué)習(xí)樣本是系統(tǒng)的檢測結(jié)果。在有誤檢的情況下，短期模型將記錄非盲道表面顏色分布狀況，以此短期模型檢測的盲道，將產(chǎn)生誤檢。長期模型因其采用的學(xué)習(xí)樣本比較可靠，其檢測結(jié)果也更加可靠。長期模型檢測結(jié)果與短期模型檢測結(jié)果按照如下規(guī)則進(jìn)行融合：

1)獲取采集的視頻流中的像素，標(biāo)記該像素為X；

2)在長期模型中，X被檢測為盲道路面，則在融合后的結(jié)果中，該像素所在位置，屬于盲道區(qū)域；

3)在長期模型中，檢測X為非盲道路面，短期模型中檢測X為盲道路面，使用如圖四所示3×3模板，統(tǒng)計(jì)長期模型檢測結(jié)果中，該像素對應(yīng)位置處其8鄰域信息；

圖4 3×3掩模

式中，vi∈ {0 ,1}；Xi是長期模型檢測結(jié)果中的像素位置，如果Xi所在位置檢測為盲道區(qū)域，則Xi=1，否則Xi=0；T是預(yù)定的閾值，在本文中T=2；如果S≥T成立，則在融合后的結(jié)果中，像素X所處位置屬于盲道區(qū)域；

4)其他情況，在融合后的結(jié)果中，該像素位置處，不屬于盲道區(qū)域；

融合結(jié)果后期處理流程如圖5所示：

圖5 融合結(jié)果后期處理算法流程

連通域分析，剔除掉融合結(jié)果中，面積較小的連同區(qū)域，達(dá)到過濾噪聲和減少誤檢的效果。

部分處理結(jié)果如圖6所示：

圖6 (a)盲道原圖；(b)融合結(jié)果；(c)后期處理結(jié)果。

2.5 陰影混合高斯模型

戶外，盲道兩旁栽種的樹木，樹立的標(biāo)志牌，都在盲道上留下不規(guī)則的投射陰影。圖7是沒有投射陰影抑制時(shí)的盲道檢測結(jié)果。

圖7 (a)盲道原圖；(b)檢測結(jié)果

文獻(xiàn)[6]提出，在復(fù)雜光照條件下，某一塊固定區(qū)域處投射陰影表現(xiàn)出一定的規(guī)律性。這個(gè)規(guī)律性是由很多因素決定的，包括光照條件比較固定，或者，遮擋光線引起投射陰影的物體具有類似的尺度大小。[6]中提出，可以根據(jù)投射陰影重復(fù)出現(xiàn)的狀況，使用高斯混合陰影模型學(xué)習(xí)并且記錄陰影分布信息，以此來檢測投射陰影。

本文為陰影信息單獨(dú)建立了一個(gè)混合高斯模型，狀態(tài)參數(shù)K=3，稱之為陰影模型。陰影模型的初始化與參數(shù)更新規(guī)則如3.1中所述。該混合模型的學(xué)習(xí)樣本，是檢測結(jié)果中被檢測為盲道路面投射陰影覆蓋區(qū)域的像素點(diǎn)，并且為了保證檢測的準(zhǔn)確性，認(rèn)為只有最大的高斯分量，能夠表征陰影信息，用作投射陰影檢測。

下面將給出投射陰影參數(shù)更新和檢測的詳細(xì)步驟：

選用[7]中提出的基于YUV信息的全局投射陰影檢測模型，標(biāo)記出被認(rèn)為是投射陰影的區(qū)域。采集的視頻流中的像素點(diǎn)，該像素點(diǎn)標(biāo)記為X={XH,XS,XV}，如果同時(shí)滿足如下條件就將該像素點(diǎn)所在位置標(biāo)記為投射陰影區(qū)域；

其中 μi={μiH, μiS,μiV}是盲道混合高斯模型中，第ith個(gè)高斯分量的顏色均值μi在HSV顏色空間中的值；a，β，γ是閾值；

使用[7]中所述方法得到的陰影檢測效果如圖八所示：

圖8 (a)盲道原圖(b)HSV陰影模型檢測結(jié)果(c)剔除盲道路面后的結(jié)果。

從結(jié)果圖上可以看出，HSV陰影模型檢測結(jié)果中，很多非投射陰影區(qū)域被認(rèn)為是投射陰影區(qū)域，同時(shí)非盲道部分區(qū)域也被認(rèn)為是投射陰影區(qū)域。

1)HSV陰影模型檢測的結(jié)果基礎(chǔ)上，剔除掉在盲道檢測中被判斷為盲道路面的區(qū)域。將剩下的標(biāo)注為投射陰影的區(qū)域的信息作為學(xué)習(xí)樣本，更新陰影模型。

使用陰影模型檢測陰影區(qū)域的結(jié)果如圖9所示。

圖9 (a)盲道原圖(b)陰影模型檢測結(jié)果(c)陰影檢測與盲道檢測融合結(jié)果。

3 盲道跟隨算法

盲道分為行進(jìn)盲道和提示盲道，兩種盲道的作用和出現(xiàn)的位置各不相同，因此對兩種盲道要采取不同的處理策略。

行進(jìn)盲道的跟隨是按照第3部分描述的算法，分割出盲道區(qū)域后，使用霍夫（Hough）算法檢測出盲道邊界。如圖十所示，實(shí)線為盲人的前進(jìn)方向坐標(biāo)，點(diǎn)劃線為算法找到的行進(jìn)盲道的盲道邊界，虛線則是根據(jù)盲道邊界所繪制的盲道方向坐標(biāo)。順利找到盲道邊界，就可以斷定盲人仍在盲道區(qū)域內(nèi)，否則系統(tǒng)會給出警告提醒，如果盲人的前進(jìn)方向與盲道方向偏離(圖4的θ角)太大，則系統(tǒng)也可以給出相應(yīng)信息讓盲人做出修正。

圖10 行進(jìn)盲道邊界模型

提示盲道一般設(shè)置在行進(jìn)盲道的起點(diǎn)，終點(diǎn)和拐彎處，若干條盲道的T字型結(jié)合部處。提示盲道出現(xiàn)的情況比較復(fù)雜，特別是地鐵站火車站里會有很多提示盲道出現(xiàn)，這為盲道區(qū)域檢測系統(tǒng)帶來了很大的挑戰(zhàn)，這需要通過其它手段來判斷該處提示盲道的具體作用。因此，本文對提示盲道沒有做額外的處理，只是由系統(tǒng)通過聲音與震動提示出現(xiàn)提示盲道。提示盲道的明顯特征是有若干圓點(diǎn)，采用霍夫變換可檢測圓點(diǎn)，當(dāng)圓點(diǎn)數(shù)量超過某個(gè)閾值時(shí)系統(tǒng)判斷有提示盲道存在。

4 結(jié)論

本文提出了基于顏色信息的盲道區(qū)域識別與跟隨算法，側(cè)重于解決在光照改變與盲道路面有投射陰影的條件下，盲道區(qū)域的檢測，利用混合型高斯模型，消除了顏色變化和日照陰影變化的影響，提高了盲道檢測的可靠性。但是在現(xiàn)實(shí)的戶外條件下，城市道路的盲道區(qū)域設(shè)置情況很復(fù)雜，需要設(shè)計(jì)魯棒性更高的盲道檢測算法，包括加入盲道紋理信息。同時(shí)，盲道占用情況比較嚴(yán)重，電線桿，圍墻，自行車等等都在擠壓盲道的空間，這就需要在盲道區(qū)域檢測系統(tǒng)中，加入障礙物檢測功能，為盲人出行提供必要的安全保障。

[1]Golding A R and Lesh N.Indoor Navigation Using a Diverse Set of Cheap, Wearable Sensor. The Third International Symposium on Wearable Computer, Digest of Papers, 1999[C], Page(s): 29-36.

[2]Loomis J M,Golledge R G,Klatzky R L,Speigle J M.&Tietz J.Personal Guidance System for the Visually Impaired. Proceedings of the 1stAnnual ACM/SIGGAPH Conference On Assistive Technogy Page(s): 85-91,1994[C].

[3]楊超,趙群飛.基于uClinux的嵌入式導(dǎo)航系統(tǒng)[J].計(jì)算機(jī)工程34卷24期,2008.

[4]柯劍光,趙群飛.基于圖像處理的盲道識別算法[J].計(jì)算機(jī)工程35卷1期,2009.

[5]KaewTrakulpPong P and Bowden R.An Improved Adaptive Background Mixture Model for Real time Tracking with Shadow Detection Proc. 2ndEuropean Workshop on Advanced Video Based Surveillance Systems, AVBS01. Sept, 2, 2003[C].

[6]Nicolas Martel-Brisson, Andre′ Zaccarin, Learning and Removing Cast Shadows through a Multidistribution Approach[J]IEEE Trans.Pattern Analysis and Machine Intelligence, vol. 29, no. 7, July 2007.

[7]Cucchiara R, Grana C, Piccardi M, Prati A, and Sirotti S,Improving Shadow Suppression in Moving Object Detection with HSV Color Information, Proc. Intelligent Transportation Systems Conf,pp.334-339,2001[C].