盲道區(qū)域中障礙物的視覺檢測方法

張晴晴 林強(qiáng)強(qiáng)

摘要：針對視障人群出行時盲道區(qū)域中的靜動態(tài)障礙物可能對盲人造成困擾，本文提出一種方法。通過構(gòu)建可穿戴式的單目視覺導(dǎo)盲系統(tǒng)，建立各坐標(biāo)系的關(guān)系。將視覺系統(tǒng)獲取的圖像由RGB模型轉(zhuǎn)換到Lab顏色空間模型，提取b分量，采用最大類間方差法和Hough變換獲得盲道區(qū)域信息。對盲道區(qū)域中的靜動態(tài)障礙物采用三幀差法及“與”運算來提取障礙物輪廓信息，同時對幀差圖像融合灰度投影算法，消除背景噪聲等干擾，提高障礙物檢測精度。實驗結(jié)果表明，對靜態(tài)的地面障礙物和懸掛障礙物的檢測本文方法有著較好的效果，對動態(tài)障礙物的檢測也更加可靠。

Abstract： This paper proposes a method to solve the problem that the static and dynamic obstacles in the blind area may cause trouble to the blind when the visually impaired people travel. Through the construction of wearable monocular vision guidance system， the relationship between coordinate systems is established. The image acquired by visual system is transformed from RGB model to Lab color space model， and the B component is extracted. The information of blind area is obtained by using the method of maximum inter-class variance and Hough transform. For static and dynamic obstacles in blind area， three-frame difference method and "and" operation are used to extract the contour information of obstacles. At the same time， gray projection algorithm of frame difference image fusion is used to eliminate background noise and other interference， so as to improve the accuracy of obstacle detection. The experimental results show that the method proposed in this paper can detect static ground obstacles and suspended obstacles effectively， and the detection of dynamic obstacles is more reliable.

關(guān)鍵詞：視覺導(dǎo)盲;Lab空間模型;三幀差法;灰度投影;障礙物檢測

Key words： visual guidance;Lab space model;three frame difference method;gray projection;obstacle detection

中圖分類號：TP273.5 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼：A ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文章編號：1006-4311（2019）09-0148-04

0 ?引言

人類獲取外界信息主要通過視覺[1]。隨著我國視障人群的增加，該群體的安全出行也受關(guān)注[2]。傳統(tǒng)的視障人群出行輔具主要為盲杖和導(dǎo)盲犬[3]，但是盲杖功能單一，對障礙物檢測空間有限，而導(dǎo)盲犬訓(xùn)練學(xué)習(xí)時間較長、成本高，均難以滿足視障人群的需求[4]。近年來，傳感器技術(shù)、機(jī)器人技術(shù)在導(dǎo)盲領(lǐng)域中得到了應(yīng)用，代一平等設(shè)計了一種基于RFID的導(dǎo)盲手杖，通過RFID技術(shù)能夠檢測出部分空間信息量，輔助視障人群安全出行[5];張志美等設(shè)計一種履帶式導(dǎo)盲機(jī)器人，通過超聲波傳感器、顏色傳感器和光電傳感器增強(qiáng)機(jī)器人的感知功能[6]。Shraga Shoval和Johann Borenstein 等開發(fā)可以幫助視障人群躲避障礙物的NavBelt系統(tǒng)，該系統(tǒng)具有規(guī)劃最優(yōu)路線的功能[7，8]。R.Nagarajian及Roentgen Uta R等設(shè)計開發(fā)的NAVI系統(tǒng)和UtraCane系統(tǒng)，通過語音控制視覺傳感器進(jìn)行目標(biāo)的識別及提醒功能[9，10]。邱晶晶設(shè)計了一種多功能導(dǎo)盲裝置，可進(jìn)行障礙物、斑馬線、交通指示燈、盲人行道等的識別[11]，徐潔等提出基于機(jī)器視覺的Audio Man 系統(tǒng)，通過分析道路圖像信息，并以語音提示將信息傳遞給視障人群[12]。范坤提出了一種基于結(jié)構(gòu)光的視覺導(dǎo)盲杖系統(tǒng)，不僅可以獲得前方實時的障礙物距離與形狀信息，而且可以獲得前方障礙物的類別信息[13]。

各類導(dǎo)盲裝置為視障人群的出行提供了一定的安全保障，但是在實際生活中，視障人群的出行多借助于盲道，因此盲道中的各類靜態(tài)障礙物及隨機(jī)出現(xiàn)的動態(tài)障礙物是視障人群行走的最大安全隱患，針對盲道區(qū)域中出現(xiàn)的障礙物，本文在提取盲道基礎(chǔ)上，提出一種融合幀差與灰度投影的障礙物檢測方法。

1 ?單目視覺導(dǎo)盲系統(tǒng)及其坐標(biāo)系的建立

單目視覺導(dǎo)盲系統(tǒng)如圖1所示，單目視覺系統(tǒng)穿戴在視覺障礙者的頭部[13]，相機(jī)的光軸與地面平行，在行走過程中，視覺系統(tǒng)隨視覺障礙者運動，采用幀頻為60fps的相機(jī)，則頭部的轉(zhuǎn)動和人體的運動均可看作平移運動。世界坐標(biāo)系與相機(jī)坐標(biāo)系（O-XYZ）重合，其中OZ軸與相機(jī)光軸重合，平行于地面，OY軸垂直指向地面，OX軸指向水平方向。相應(yīng)的圖像坐標(biāo)系為（o-uv），其中，ou軸與OX軸平行，ov軸與OY軸平行。設(shè)P（X，Y，Z）為三維空間中任意一點，其在圖像平面中的成像為p（u，v）。

單目視覺導(dǎo)盲系統(tǒng)所面向的對象為視障人群，為了方便視障人群更加安全、舒適的出行。

2 ?盲道區(qū)域的提取

盲道在顏色和紋理特征上與周圍道路區(qū)域有著明顯的不同，如圖2（a）所示的盲道圖像，黃色標(biāo)識比較顯著，通過對盲道圖像顏色特征的識別，可獲取視障人群出行所在的盲道信息。

對黃色將盲道圖像由RGB轉(zhuǎn)換到Lab顏色空間中，其中分量b對黃色特征的識別程度相對比較高，其線性關(guān)系為：

圖2（a）為常見的盲道圖像，顏色和紋理與周圍道路明顯不同，盲道的b分量特征如圖2（b）所示，其黃色分量特征更加突出，利用黃色特征分量采用最大類間方差法對盲道圖像進(jìn)行分割。在此基礎(chǔ)上采用Hough變換獲取圖像中盲道的邊緣信息如圖2（c）所示。

3 ?融合幀差和灰度投影的障礙物檢測方法

視障人群出行大多在盲道區(qū)域中行走，不論是盲道區(qū)域內(nèi)的靜態(tài)障礙物及進(jìn)入到盲道中的動態(tài)障礙區(qū)均影響到視障人群的出行安全[14]。針對盲道區(qū)域中所存在的靜態(tài)、動態(tài)障礙物進(jìn)行檢測。

3.1 序列圖像的三幀差法

視障人群在行走過程中，與障礙物之間均存在著相對運動，本文基于單目視覺系統(tǒng)獲取的序列圖像，采用三幀差法進(jìn)行障礙物的檢測。三幀差分算法是在兩幀差分算法的基礎(chǔ)上，對序列圖像中連續(xù)的第k-1、k、k+1幀圖像作差分計算，得到的幀差圖像為

3.2 基于灰度投影的全局運動補(bǔ)償

由于單目視覺系統(tǒng)隨視障者同步運動，所得到的序列圖像會發(fā)生全局運動，從而導(dǎo)致幀間差分算法檢測的障礙物受到全局背景變化的影響[15]。對序列圖像中第k幀圖像按公式（6）進(jìn)行圖像行、列像素灰度值的累加投影，得到兩條行與列的灰度投影曲線。

通過融合幀差和灰度投影算法對盲道區(qū)域中的行人進(jìn)行檢測，全局補(bǔ)償后利用幀差法得到如圖5（a）所示的圖像;再通過對盲道區(qū)域的識別，得到在盲道區(qū)域內(nèi)的行人障礙物，見如圖5（b）。

4 ?實驗分析

為驗證本文方法的有效性，采用單目視覺系統(tǒng)在天氣晴朗條件下，對盲道區(qū)域內(nèi)的靜態(tài)障礙物和兩側(cè)橫穿盲道的動態(tài)障礙物進(jìn)行圖像獲取，并對圖像進(jìn)行算法驗證。

4.1 導(dǎo)盲系統(tǒng)硬件設(shè)備

系統(tǒng)采用USB接口進(jìn)行圖像輸入和輸出。該系統(tǒng)的優(yōu)點：①佩戴方便;②分辨率高;③工作環(huán)境范圍廣;④體積較小;⑤有效像素：800萬;⑥傳感器類型：CMOS;⑦電池：1160mAh內(nèi)置鋰電池。

在獲取圖像之后，在Windows7系統(tǒng)Matlab2018的環(huán)境條件下對圖像進(jìn)行下一步的檢測。

4.2 盲道區(qū)域內(nèi)靜態(tài)障礙物檢測

盲道區(qū)域內(nèi)正前方的障礙物如圖6所示，圖6為停放在盲道上的電動車，這些不確定的隨機(jī)障礙物影響著視障人群的安全出行，通過本文算法，在檢測出盲道區(qū)域的基礎(chǔ)上，檢測是否含有障礙物信息。

由圖6可知，綠色邊緣為盲道區(qū)域，紅色方框中標(biāo)識為該區(qū)域內(nèi)的障礙物。通過獲取大量圖像信息進(jìn)行驗證，對于盲道區(qū)域內(nèi)所出現(xiàn)的地面上或半空中懸掛的靜態(tài)障礙物有著良好的檢測效果。

4.3 動態(tài)障礙物檢測

對于突然出現(xiàn)在盲道區(qū)域內(nèi)的動態(tài)障礙物，如圖7所示盲道上行走的行人在各幀圖像中的位置是動態(tài)的，通過算法進(jìn)行處理，融合幀差和灰度投影算法，提高了動態(tài)障礙物的檢測精度。在與光流法和背景差分法進(jìn)行實驗分析，障礙物輪廓與實際障礙物區(qū)域輪廓吻合誤差為9.2%，小于光流法的11%和背景差分法的15.6%。

5 ?結(jié)論

為了保障視障人群的出行安全，結(jié)合機(jī)器視覺技術(shù)提出了一種盲道區(qū)域中障礙物的視覺檢測方法。

①構(gòu)建單目視覺導(dǎo)盲系統(tǒng)，建立了各坐標(biāo)系之間的關(guān)系，在獲取了盲道圖像的基礎(chǔ)上，基于Lab顏色空間提取b分量，以最大類間方差法對盲道區(qū)域進(jìn)行分割，利用Hough變換提取盲道邊界特征，以確定盲道區(qū)域。

②針對視障人群出行過程中盲道區(qū)域中存在的的靜動態(tài)障礙物進(jìn)行檢測，對序列圖像進(jìn)行灰度投影算法進(jìn)行全局運動估計對圖像進(jìn)行校正，同時融合三幀差算法，提取障礙物的邊緣輪廓信息，確定障礙物的位置信息，通過實驗驗證了單個障礙物和多個障礙物均有效定位。

③實驗結(jié)果表明本文方法對盲道區(qū)域中地面或空中懸掛的靜動態(tài)障礙物具有較好的識別效果，但是對于地面盲道的狀態(tài)、較多目標(biāo)的檢測率還有待于算法的改進(jìn)。

參考文獻(xiàn)：

[1]王海，鄭正揚，蔡英鳳，陳龍.基于四線激光雷達(dá)的無人車障礙物檢測算法[J].中國機(jī)械工程，2018，29（15）：1884-1889.

[2]張克華，王書平，尹曉紅，等.復(fù)雜室內(nèi)環(huán)境下的單一Kinect導(dǎo)盲系統(tǒng)[J].光學(xué)精密工程，2015，23（8）：2419-2427.

[3]謝德勝，徐友春，王任棟，蘇致遠(yuǎn).基于三維激光雷達(dá)的無人車障礙物檢測與跟蹤[J].汽車工程，2018，40（8）：952-959.

[4]梁燦杰，楊馥彰，林楷濤，陳俊填.萬智萍.基于Arduino的智能導(dǎo)盲系統(tǒng)[J].電腦知識與技術(shù)，2018，14（24）：190-193.

[5]代一平，鄒傳云，何軍，等.基于RFID的交互式盲杖設(shè)計[J].微型機(jī)與應(yīng)用，2015，34（21）：61-63.

[6]張志美，程立英，趙以恒，等.基于模糊PID 控制算法的導(dǎo)盲機(jī)器人研究[J].沈陽師范大學(xué)學(xué)報（自然科學(xué)版），2015，33（1）：81-85.

[7]S. Shoval， ?J. Borenstein， ?et al. ?Mobile robot obstacle avoidance in a comrized travel aid for the blind[C]//Proceedings ?of the ?1994 IEEE International Conference on ?Robotics ?and ?Automation， San ?Diego（CA）：IEEE， 1994， 3： 2023-2028.

[8]S.Shoval， J. Borenstein， ?etal. ?Auditory ?guidance ?with the ?NavBelt-acomputerized travel aid for the blind[J]， IEEE Transactions on Systems， ?Man and Cybernetics， ?1998， ?28（3）： 459-467.

[9]R. Nagarajan， S. Yaacob， et al. Role of object identification in sonification system for visually impaired[C]//IEEE TENCON 2003： Conference on Convergent Technologies for the Asia-Pacific Region， Bangalore（India）：IEEE Region 10，2003， 2：735-739.

[10]Roentgen Uta R， Gelderblom Gert Jan， etal. User evaluation of two electronic mobility aids for persons who are visually impaired： a quasi-experimental study using a standardized mobilitycourse[J]， Assistive Technology 2012，24（2）：110-120.

[11]邱晶晶.多功能導(dǎo)盲裝置的若干問題研究[D].鄭州：鄭州大學(xué)，2010：44-47.

[12]徐潔，方志剛，鮑福良，張麗紅.AudioMan：電子行走輔助系統(tǒng)的設(shè)計與實現(xiàn)[J].中國圖象圖形學(xué)報，2007（07）：1249-1253.

[13]范坤.基于結(jié)構(gòu)光與視覺檢測的虛擬導(dǎo)盲杖系統(tǒng)研究[J].哈爾濱工業(yè)大學(xué)學(xué)報，2018：52-53.

[14]王勇強(qiáng)，黃曉輝，沈曉峰，代柱，徐龍瀟，柴亞闖.路口導(dǎo)盲及馬路障礙物檢測提醒系統(tǒng)的設(shè)計[J].測控技術(shù)，2018，37（10）：114-123.

[15]劉銳，陳鳳翔，陳科羽，劉勝南.基于雙目視覺的障礙物檢測方法研究[J].計算機(jī)測量與控制，2018，26（12）：67-71.

[16]吳開華，王文杰.植保無人機(jī)結(jié)構(gòu)光視覺的障礙物檢測方法[J].光電工程，2018，45（4）：170613.