基于圖像認(rèn)知的交互式智能導(dǎo)盲車(chē)設(shè)計(jì)與實(shí)現(xiàn)

馮廷浩

摘 要：本文將介紹一種結(jié)合了實(shí)時(shí)的圖像識(shí)別技術(shù)和人機(jī)語(yǔ)音交互的能夠輔助視覺(jué)障礙者外出的智能導(dǎo)盲系統(tǒng)，主要提出一種準(zhǔn)確識(shí)別交通燈的圖像處理方式和較為全面的智能導(dǎo)盲系統(tǒng)的的功能設(shè)計(jì)與組合方式。硬件方面將基于樹(shù)莓派配合紅外線傳感器，超聲波傳感器實(shí)現(xiàn)（獲取路面信息）圖像信息的傳遞與處理和對(duì)行走的控制基本功能等，軟件方面將使用opencv作為圖像處理的平臺(tái)。

關(guān)鍵詞：交通燈識(shí)別;導(dǎo)盲;語(yǔ)音交互

一、介紹

目前，在中國(guó)，中國(guó)盲人數(shù)量約為1730萬(wàn)人，且約有30%的盲人基本不會(huì) 出門(mén)，而訓(xùn)練一只導(dǎo)盲犬大概要花費(fèi)10萬(wàn)至20萬(wàn)元人民幣且一個(gè)基地一年僅能培養(yǎng)出3到5只導(dǎo)盲犬，造成盲人的生活種的不便。所以，我們意在設(shè)計(jì)一種可以實(shí)現(xiàn)類(lèi)似于導(dǎo)盲犬的功能的智能導(dǎo)盲車(chē)。對(duì)于一個(gè)智能導(dǎo)盲車(chē)，我們?cè)O(shè)計(jì)的重點(diǎn)在于對(duì)交通燈的及時(shí)、準(zhǔn)確的識(shí)別。

我們對(duì)交通燈的識(shí)別分為兩個(gè)步驟，先使用opencv的基于haar特征的級(jí)聯(lián)分類(lèi)器進(jìn)行尋來(lái)你，然后對(duì)交通燈的識(shí)別和框選，獲取roi區(qū)域，再對(duì)該部分進(jìn)行色彩空間轉(zhuǎn)hsv，高斯模糊，膨脹腐蝕等預(yù)處理，以降低被其他背景顏色干擾的可能，從而增大識(shí)別精度，并判斷顏色，以上過(guò)程在兩個(gè)樹(shù)莓派上實(shí)現(xiàn)。

二、相關(guān)工作

交通燈檢測(cè)已被研究和開(kāi)發(fā)用于眾多研究和應(yīng)用。 在常規(guī)交通信號(hào)燈檢測(cè)，TL的候選集通常是由顏色和形狀信息[1]，[2]，[3]，[4]生成。然后通過(guò)跟蹤和空間信息修剪此集合，在確定TL狀態(tài)之前。 例如在由Hak等人的工作中。 [10]在HSV空間，然后根據(jù)形狀和形狀進(jìn)行修剪時(shí)序信息。 同樣，Omachi等人 [11]，生成歸一化RGB顏色空間中的候選集，以及使用邊緣和對(duì)稱(chēng)性信息修剪集合。 在另一方面，de Charette等。 [3]他們通過(guò)識(shí)別亮點(diǎn)從灰度圖像進(jìn)行設(shè)置，并使用自適應(yīng)模板匹配（ATM）方案來(lái)識(shí)別TL狀態(tài)。類(lèi)似于這種方法，， Gong等人[2]生成候選區(qū)域使用顏色分割和形態(tài)學(xué)處理，在使用Adaboost算法執(zhí)行檢測(cè)之前。

三、方案的實(shí)現(xiàn)

1.基本組成及外觀設(shè)計(jì)

我們?cè)O(shè)計(jì)的智能導(dǎo)盲車(chē)的組成和外觀如上圖所示

外觀上，導(dǎo)盲車(chē)的驅(qū)動(dòng)依靠一根推桿連接，滑輪使用萬(wàn)向輪，保證導(dǎo)盲車(chē)的位置完全受盲人控制，攝像頭呈斜向上方向，據(jù)統(tǒng)計(jì)，中國(guó)的主干道、次干道、支路的路寬d的范圍為18-40米，而人行道交通燈的高度h約為2.5m，從而可以計(jì)算攝像頭的傾斜角度為，因此攝像頭的角度固定為5°，可根據(jù)盲人經(jīng)常走的道路對(duì)應(yīng)的角度隨時(shí)進(jìn)行調(diào)節(jié);

組成上，以樹(shù)莓派作為所有模塊運(yùn)行、處理的核心，超聲波傳感器針對(duì)平行方向障礙的檢測(cè)，紅外傳感器針對(duì)地面的坑洼和障礙的檢測(cè)，保障盲人在日常的道路行走過(guò)程中不會(huì)碰到障礙，相比于這些傳統(tǒng)的基本的障礙檢測(cè)，我們?cè)诹硪粔K樹(shù)莓派上實(shí)現(xiàn)了對(duì)日常行走過(guò)程中對(duì)交通信號(hào)燈的較為及時(shí)、準(zhǔn)確的檢測(cè)，盡可能模擬或超過(guò)導(dǎo)盲犬的功能從而輔助盲人的日常生活。

2.超聲波模塊與紅外模塊

紅外模塊具有最大探測(cè)距離（25厘米左右），紅外模塊的接收采用的是漫反射的方式，模塊在使用時(shí)收發(fā)頭的周邊不要有其它的物體遮擋 ，從而減小周邊物體對(duì)模塊的干擾。紅外模塊安裝在裝置前底部，實(shí)時(shí)的檢測(cè)與地面的距離，當(dāng)相對(duì)距離大于5cm是判定為路面有坑，相對(duì)距離小于-5cm判定路面有石頭。

超聲波模塊，HC-SR04 超聲波測(cè)距模塊可提供 2cm-400cm 的非接觸式距離感測(cè)功能，測(cè)距精度可達(dá)高到 3mm。最遠(yuǎn)探測(cè)距離4m。測(cè)量角度15度。超聲波模塊安裝在裝置正前方，實(shí)時(shí)的檢測(cè)前方障礙物，當(dāng)距離小于3m時(shí)判定前方有障礙物。

3.交通燈識(shí)別算法與實(shí)現(xiàn)

通過(guò)卷積神經(jīng)網(wǎng)絡(luò)（CNN）或某些方式直接從圖片中捕捉并識(shí)別交通燈顏色在較為復(fù)雜的交通路口會(huì)有圓形對(duì)交通燈識(shí)別的干擾和某些顏色相近的物體對(duì)顏色識(shí)別的干擾，易將某些顏色相近的物體錯(cuò)誤的識(shí)別為目標(biāo)物體，所以我們將交通燈顏色識(shí)別的過(guò)程分為兩個(gè)部分：

第一部分，關(guān)于交通燈識(shí)別的訓(xùn)練，opencv已經(jīng)提供了一個(gè)級(jí)聯(lián)分類(lèi)器（traincascade），我們采用它進(jìn)行訓(xùn)練。這個(gè)級(jí)聯(lián)分類(lèi)器的工作原理[4]是首先在圖像中找到目標(biāo)物體（如果存在的話）并在該目標(biāo)物體周?chē)鷦?chuàng)建一個(gè)圓圈，向用戶(hù)表明它確實(shí)找到了。 一旦找到了潛在的目標(biāo)物體之后，系統(tǒng)能夠掃描該區(qū)域并將其與數(shù)據(jù)庫(kù)進(jìn)行比較，確定那里實(shí)際上是否存在目標(biāo)物體。 已經(jīng)確認(rèn)后，我們可以開(kāi)始研究圓圈內(nèi)的內(nèi)容并使用該信息確定交通燈的顏色。 對(duì)于這個(gè)特定的實(shí)驗(yàn)，我們選擇對(duì)交通燈檢測(cè)使用基于haar特征的級(jí)聯(lián)分類(lèi)器。 這個(gè)分類(lèi)器受過(guò)各種各樣正負(fù)圖像樣本的訓(xùn)練。

使用上圖所示的1300張正樣本和2000張負(fù)樣本進(jìn)行訓(xùn)練并得到xml文件，然后使用訓(xùn)練好的分類(lèi)器對(duì)交通燈的整體進(jìn)行識(shí)別并框選出原圖片中交通燈的部分;

第二部分，對(duì)框選出的圖像進(jìn)行顏色識(shí)別：首先選擇顏色閾值，經(jīng)過(guò)多組圖片的測(cè)試我們對(duì)紅、綠兩個(gè)顏色設(shè)置了較為適合的HSV閾值： 紅色的閾值為：[0， 43， 46]到[10， 255， 255];綠色的閾值為：[26， 43， 46]到[34， 255， 255]

然后對(duì)圖像進(jìn)行預(yù)處理，常用的方法是高斯模糊[5]，即基于對(duì)于模糊不敏感的識(shí)別，我們不需要恢復(fù)完整像素的圖像。 我們只需要具有魯棒性的表示（可能是低維的和有損的）。使用高斯模糊處理圖片以降低圖片的像素大小以提高識(shí)別效率，處理結(jié)果如下圖所示，再將圖片RGB格式非線性轉(zhuǎn)換為HSV顏色空間[3]（由色調(diào)、飽和度和亮度三個(gè)分量組成）完成該部分圖片的顏色進(jìn)行追蹤。

兩個(gè)部分完成后的效果圖如下圖所示，已將識(shí)別出的信號(hào)燈顏色框選出來(lái)，且完成了語(yǔ)音的播報(bào)

智能導(dǎo)盲車(chē)運(yùn)行過(guò)程的流程圖如下：

4.識(shí)別結(jié)果的播報(bào)及語(yǔ)音交互

在超聲波、紅外和交通燈識(shí)別的代碼中加入調(diào)用聲卡進(jìn)行播報(bào)的部分，使之前的檢測(cè)都能以盲人可以接受的方式得到信息;另一方面，我們?cè)O(shè)置了另一個(gè)線程與交通燈識(shí)別同時(shí)執(zhí)行，獲取盲人的聲音，通過(guò)百度語(yǔ)音包轉(zhuǎn)化為文字，如果識(shí)別出來(lái)的文字是特定的命令，便調(diào)用交通燈識(shí)別函數(shù)以達(dá)到讓盲人可以主動(dòng)獲取信息的功能

四、總結(jié)

基于樹(shù)莓派的智能導(dǎo)盲系統(tǒng)可以完成以上提及的超聲波模塊、紅外模塊、語(yǔ)音識(shí)別模塊和圖像識(shí)別模塊的運(yùn)行，并可以實(shí)時(shí)播報(bào)給使用者，起到輔助盲人的作用

該智能導(dǎo)盲系統(tǒng)是盡可能的對(duì)實(shí)際應(yīng)用情況和可行性進(jìn)行了綜合考慮的設(shè)計(jì)，對(duì)交通燈識(shí)別的方式進(jìn)行了一定程度的優(yōu)化，使盲人的出行的安全得到更多保障。

參考文獻(xiàn)：

[1]G.Siogkas， E.Skodras and E.Dermatas. Traffic Lights Detection in Adverse Conditions using Color， Symmetry and Spatiotemporal Information. In proceedings of VISAPP 2012

[2]J. Gong， Y. Jiang， G. Xiong，C. Guan， G. Tao and Huiyan Chen， The Recognition and Tracking of Traffic Lights Based on Color Segmentation and CAMSHIFT for Intelligent Vehicles. In proceedings of IV， 2010.

[3]R de Charette， F Nashashibi. Traffic light recognition using image processing compared to learning processes. In proceedings of IROS 2009， pp 333-338

[4]M. Diaz-Cabrera， P. Cerri and J. Sanchez-Medina， Suspended Traffic Lights Detection and Distance Estimation Using Color Features， In proceedings of ITS2012， pp. 1315-1320.

[5]V. John. Traffic Light Recognition in Varying Illumination using Deep Learning and Saliency Map. IEEE.2014

[6]Y Jie. A new traffic light detection and recognition algorithm for electronic travel aid. Fourth International Conference on Intelligent Control and Information Processing （ICICIP）.2013

[7]Jonathan Hicks.Emotion Detection Using OpenCV for Automatic Facial Recognition. Earlham College Department of Computer Science

[8]Jan Flusser. Recognition of Images Degraded by Gaussian Blur. IEEE. FEBRUARY 2016

[9]Vladimir Chernov. Integer-based accurate conversion between RGB and HSV color spaces. Computers & Electrical Engineering.2015

[10] T. Hyun，J. In-Hak，C Seong-lk. Detection of Traffic Lights for VisionBased Car Navigation System， In proceedings of PSIVT 2006

[11]M. Omachi， S. Omachi. Traffic light detection with color and edge information. In proceedings of ICCSIT 2009. pp 284 - 287