基于多特征融合的防爆自動(dòng)導(dǎo)引車避障方法研究

萬(wàn)偉　劉子龍　孫帥　張瑩

摘? 要：為解決在工廠環(huán)境中防爆自動(dòng)導(dǎo)引車（Automated Guided Vehicle，AGV）難以在不同光照條件下實(shí)現(xiàn)行人檢測(cè)的問(wèn)題，本文提出將“結(jié)構(gòu)光+雙目視覺(jué)相機(jī)”的圖像采集方案應(yīng)用于爆炸性危險(xiǎn)環(huán)境。針對(duì)傳統(tǒng)的基于RGB（代表紅、綠、藍(lán)三個(gè)通道的顏色）圖像的HOG-LBP（Histogram of Oriented Gradient-Local Binary Pattern）方法受光照影響較大且對(duì)特征利用率低的情況，設(shè)計(jì)了基于RGB-D（RGB-Depth）圖像的HOG-CLBP（Histogram of Oriented Gradient-Completed Local Binary Pattern）框架，并提出了一種改進(jìn)的多特征融合方法，通過(guò)支持向量機(jī)分類實(shí)現(xiàn)實(shí)時(shí)行人目標(biāo)檢測(cè)。實(shí)驗(yàn)驗(yàn)證該方法可以有效解決在不同光照條件下實(shí)現(xiàn)對(duì)行人目標(biāo)的檢測(cè)，從而實(shí)現(xiàn)避障功能。

關(guān)鍵詞：雙目視覺(jué);行人檢測(cè);避障;特征融合

中圖分類號(hào)：TP29? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

Abstract： This paper proposes an approach to applying image acquisition with "structured light + binocular vision camera" to an explosively dangerous environment since it is difficult for explosion-proof Automatic Guided Vehicle （AGV） to detect pedestrians under different lighting conditions in factory environment. Traditional HOG-LBP （Histogram of Oriented Gradient-Local Binary Pattern） method based on RBG （red， blue， green） channels of images is greatly affected by illumination and has low utilization rate. Therefore， a HOG-CLBP （Histogram of Oriented Gradient-Completed Local Binary Pattern） framework based on RGB-D （RGB-Depth） images is designed， and an improved multi-feature fusion method is proposed to realize real-time pedestrian target detection through support vector machine classification. Experiments verify that this method can effectively solve the problems of pedestrian targets under different lighting conditions to achieve the obstacle avoidance function.

Keywords： binocular vision; pedestrian detection; obstacle avoidance; feature fusion

1? ?引言（Introduction）

防爆AGV是指依據(jù)GB3836系列國(guó)家標(biāo)準(zhǔn)[1]設(shè)計(jì)，經(jīng)相關(guān)防爆檢驗(yàn)檢測(cè)機(jī)構(gòu)認(rèn)證，可以應(yīng)用于爆炸性危險(xiǎn)環(huán)境的裝備有自動(dòng)導(dǎo)引裝置的多功能移載運(yùn)輸車。隨著2019年10月1日防爆電器正式被納入CCC（China Compulsory Certification）認(rèn)證管理范圍，自2020年10月1日起，未取得3C證書(shū)和認(rèn)證標(biāo)志的防爆產(chǎn)品被禁止出廠、銷售、進(jìn)口，或在其他經(jīng)營(yíng)活動(dòng)中使用，因此防爆AGV具有極為廣闊的市場(chǎng)前景。

與通用型AGV結(jié)構(gòu)相同，防爆AGV主要通過(guò)隔爆型、增安型和本質(zhì)安全型等[2]防爆方式解決AGV小車的控制單元、驅(qū)動(dòng)單元等部分的電氣防爆問(wèn)題。由于應(yīng)用環(huán)境的特殊性，通用型AGV常用的激光雷達(dá)等避障方案在爆炸性危險(xiǎn)環(huán)境中較難解決防爆安全問(wèn)題。由于AGV運(yùn)行軌跡通常較為固定，且在爆炸性環(huán)境中對(duì)于物料堆放有著嚴(yán)格的規(guī)定，因此本文中需要躲避的障礙對(duì)象主要為出現(xiàn)在小車前進(jìn)路線上的行人。本文設(shè)計(jì)了“結(jié)構(gòu)光+雙目視覺(jué)相機(jī)”的圖像采集方案，通過(guò)HOD-CLBP框架實(shí)現(xiàn)行人檢測(cè)從而進(jìn)行避障。

2? ?相關(guān)工作（Related work）

行人檢測(cè)就是通過(guò)圖像采集設(shè)備對(duì)工作環(huán)境進(jìn)行視頻或圖片采集，對(duì)目標(biāo)圖像中的行人與其他內(nèi)容進(jìn)行區(qū)分，簡(jiǎn)單地說(shuō)就是一種單一分類問(wèn)題。本文的主要工作內(nèi)容是對(duì)訓(xùn)練集中的圖像分別提取HOG特征[3]和CLBP特征[4]，通過(guò)改進(jìn)的特征融合算法對(duì)提取到的特征進(jìn)行融合，再使用融合后的特征訓(xùn)練分類器獲得分類模型。應(yīng)用過(guò)程中，針對(duì)不同的光照條件，使用“結(jié)構(gòu)光+雙目視覺(jué)相機(jī)”[5]對(duì)目標(biāo)區(qū)域進(jìn)行深度圖像采集，使用訓(xùn)練好的分類器對(duì)行人目標(biāo)進(jìn)行檢測(cè)。

HOG特征假設(shè)一個(gè)對(duì)象可以根據(jù)其邊緣方向和大小來(lái)表征。此外，它考慮用圖像的小矩形區(qū)域來(lái)處理圖像，這使得算法不受光度或幾何變換的影響。但是單一HOG特征對(duì)圖像信息的描述不夠完整，對(duì)目標(biāo)檢測(cè)的精度較低[6]。傳統(tǒng)的LBP特征只計(jì)算了相鄰像素與中心像素間的差值信息，而不計(jì)算像素的幅值信息，導(dǎo)致圖像部分紋理信息的缺失。本文通過(guò)CLBP特征對(duì)圖像的符號(hào)、幅值及中心灰度特征分別進(jìn)行提取和融合，對(duì)圖像的紋理信息進(jìn)行全面描述，大幅提升了圖像紋理信息的準(zhǔn)確性。通過(guò)改進(jìn)的特征融合算法融合提取到的特征值和特征向量，最后使用SVM（Support Vector Machines）分類器[7]對(duì)圖像進(jìn)行分類。圖1為本文設(shè)計(jì)的方法實(shí)現(xiàn)流程。

3? ?算法與實(shí)現(xiàn)（Algorithm and implementation）

3.1? ?深度HOG特征

在特征提取步驟對(duì)數(shù)據(jù)集的深度圖像提取方向梯度直方圖特征即為HOG特征。

（1）圖像預(yù)處理與gamma歸一化。

（2）梯度計(jì)算。使用一維離散微分模板[-1，0，1]和[-1，0，1]T

計(jì)算水平方向和垂直方向的梯度值。通過(guò)式（1）和式（2）分別計(jì)算和方向的梯度、，對(duì)原始圖像進(jìn)行卷積。

（3）梯度幅值和角度。使用上一步獲得的和，通過(guò)式（3）和式（4）計(jì)算梯度幅度和角度。

（4）直方圖計(jì)算。如圖2所示，輸入的圖像被分割為單元化的小矩形區(qū)域，其中每個(gè)單元由8×8個(gè)像素組成。然后計(jì)算每個(gè)單元的直方圖。直方圖通常定義為一個(gè)元素?cái)?shù)組，其中每個(gè)元素表示數(shù)據(jù)集中一系列值的出現(xiàn)頻率。對(duì)于每個(gè)像素，計(jì)算九個(gè)區(qū)間的直方圖。將0°—180°的角度均分為20°的小區(qū)間。在單元格中，與每個(gè)像素對(duì)應(yīng)的梯度值被添加到對(duì)應(yīng)的區(qū)間中。

為了進(jìn)一步提升精確度，通過(guò)雙線性插值將幅度離散化至每個(gè)區(qū)間。對(duì)于單元格中的每個(gè)像素，對(duì)其大小進(jìn)行雙線性插值到其對(duì)應(yīng)的區(qū)間和其最近的鄰域中。對(duì)每一格中的所有像素執(zhí)行此操作，就得到一個(gè)單元格的直方圖。接下來(lái)再對(duì)圖片進(jìn)行分塊，每一塊由2×2個(gè)單元格組成，每個(gè)塊與前一個(gè)塊重疊50%。因此，每個(gè)塊具有36維特征向量。

（5）歸一化。歸一化是影響檢測(cè)精度的關(guān)鍵步驟。本文中，使用L2-norm歸一化來(lái)進(jìn)一步提高可靠性和精度。如式（5）所示，用表示歸一化特征向量;即為第k個(gè)塊的特征向量;?是一個(gè)常數(shù)，用來(lái)避免出現(xiàn)分母為零的情況。圖3為HOG算法提取的梯度特征。

3.2? ?CLBP特征

如圖4（a）和圖4（b）所示，將圖像中的某一像素記為，以其為中心的九宮格中的個(gè)相鄰像素記為，將與的差值記為，獲得的向量即表示像素處圖像的局部信息。

向量可以進(jìn)一步表示為符號(hào)與幅值的乘積形式，將的符號(hào)與幅值分別記為、：

由前人實(shí)驗(yàn)可以得知，圖像中像素的差值信息比幅值信息包含的有效數(shù)據(jù)更多，CLBP特征將幅值和差值信息進(jìn)行了有效的融合，并且利用了中心像素的信息，進(jìn)一步表述圖像的紋理特征。

將CLBP特征的符號(hào)信息、幅值信息及中心像素灰度三個(gè)算子分別設(shè)為CLBP_S、CLBP_M、CLBP_C。其中，CLBP_S與傳統(tǒng)的LBP特征一樣，可以表示為：

圖5為圖像的CLBP特征提取結(jié)果圖。在本文中，通過(guò)聯(lián)合的方式建立這三種算子的聯(lián)合直方圖，用以完整表述圖像的紋理信息，并在后續(xù)的特征融合階段與HOG特征融合后形成特征模型，用以訓(xùn)練分類器。

3.3? ?特征融合

通過(guò)對(duì)經(jīng)典的線性判別分析（Linear Discriminant Analysis）理論[8]的深入研究，采用特征權(quán)重組合的算法對(duì)提取到的特征進(jìn)行融合，在實(shí)驗(yàn)中對(duì)算法權(quán)重系數(shù)進(jìn)行優(yōu)化以改進(jìn)識(shí)別效果。

以、分別表示同類樣本相似性的均值和對(duì)應(yīng)的差平方;代表和樣本的特征相似度，其中和均來(lái)自容量為的行人樣本，即可得到如下公式：

同理，用、分別表示行人樣本和其他類型樣本相似性的均值和對(duì)應(yīng)的差平方，則權(quán)重系數(shù)可以表示為：

將前面提取到的HOG特征與CLBP特征匹配其對(duì)應(yīng)的權(quán)重系數(shù)，再對(duì)特征進(jìn)行融合，用融合后的特征向量訓(xùn)練分類器實(shí)現(xiàn)行人的分類。

4? ?實(shí)驗(yàn)與分析（Experiment and analysis）

實(shí)驗(yàn)環(huán)境為Intel Core i7-8750H、GPU版本1050Ti、4GB內(nèi)存，實(shí)驗(yàn)環(huán)境系統(tǒng)為Ubuntu16.04、Python3.7、Opencv3.3.1[9]。由于實(shí)際條件，文中使用CVC-02-Classification數(shù)據(jù)集對(duì)分類器進(jìn)行訓(xùn)練和測(cè)試。該數(shù)據(jù)集主要為行人數(shù)據(jù)，訓(xùn)練集和測(cè)試集的正負(fù)樣本情況如表1所示，并且該數(shù)據(jù)集提供RGB圖像和對(duì)應(yīng)的深度圖。

本文中設(shè)計(jì)的算法實(shí)現(xiàn)過(guò)程如下：

（1）使用CVC-02-Classification數(shù)據(jù)集提供的訓(xùn)練圖片進(jìn)行HOG特征和CLBP特征的提取。

（2）通過(guò)改進(jìn)的特征融合算法對(duì)提取的特征進(jìn)行融合，并對(duì)SVM分類器進(jìn)行訓(xùn)練獲取模型。

（3）使用CVC-02-Classification數(shù)據(jù)集提供的測(cè)試圖片進(jìn)行測(cè)試，并根據(jù)測(cè)試數(shù)據(jù)計(jì)算特征權(quán)重獲取新的特征向量。

（4）將新的特征向量輸入SVM分類器中獲得完整的行人檢測(cè)算法。

實(shí)驗(yàn)中，為了驗(yàn)證算法在深度圖目標(biāo)識(shí)別中的優(yōu)越性，我們?cè)跀?shù)據(jù)集提供的深度圖與RBG圖上分別進(jìn)行實(shí)驗(yàn)，并與傳統(tǒng)HOG-LBP算法進(jìn)行對(duì)比[10]。我們?cè)谟?xùn)練集上分別進(jìn)行HOG和CLBP特征融合，將融合后的特征用于訓(xùn)練SVM分類器，以確定權(quán)重向量和偏差。實(shí)驗(yàn)數(shù)據(jù)如表2所示。實(shí)驗(yàn)結(jié)果表明，該方法識(shí)別準(zhǔn)確率達(dá)到92.29%。

由圖6（a）和圖6（b）對(duì)比實(shí)驗(yàn)結(jié)果可以看出，在RGB圖中右側(cè)的兒童，由于距離過(guò)遠(yuǎn)圖像提供的特征不足，且由于衣服和路面顏色接近、灰度值接近，導(dǎo)致漏檢。圖6（c）和圖6（d）中左下角穿白色衣服的行人由于姿態(tài)及在圖像中比例較小而被漏檢。在兩組對(duì)比實(shí)驗(yàn)的深度圖實(shí)驗(yàn)結(jié)果中均檢測(cè)到目標(biāo)。

通過(guò)分析漏檢的測(cè)試圖片發(fā)現(xiàn)，多數(shù)漏檢情況如圖7所示，圖片中行人軀干大部分被其他已檢測(cè)出的行人遮擋，或者前景已經(jīng)識(shí)別出行人，背景中的目標(biāo)被漏檢。根據(jù)本文的實(shí)際應(yīng)用背景，當(dāng)前景中識(shí)別出目標(biāo)，AGV小車即會(huì)采取制動(dòng)措施躲避目標(biāo)，如圖7所示的情況不會(huì)對(duì)背景中的行人造成危險(xiǎn)。而對(duì)比實(shí)驗(yàn)結(jié)果也可以看出，用深度特征訓(xùn)練的分類器的漏檢情況明顯優(yōu)于在RGB圖上的實(shí)驗(yàn)情況。

5? ?結(jié)論（Conclusion）

本文提出了用“結(jié)構(gòu)光+雙目視覺(jué)相機(jī)”來(lái)解決爆炸性危險(xiǎn)環(huán)境中AGV小車避障過(guò)程中的行人檢測(cè)問(wèn)題。在實(shí)際應(yīng)用中，可根據(jù)不同光照情況，分別通過(guò)結(jié)構(gòu)光或雙目相機(jī)系統(tǒng)采集目標(biāo)的深度圖?；谏疃葓D的改進(jìn)HOG+CLBP特征融合的行人檢測(cè)方法在Intel Core i7-8750H、Python3.7、Opencv3.3.1實(shí)驗(yàn)環(huán)境下取得較好的實(shí)驗(yàn)效果。實(shí)驗(yàn)證實(shí)，算法實(shí)時(shí)性與準(zhǔn)確性可以基本滿足爆炸性危險(xiǎn)環(huán)境下AGV小車對(duì)于實(shí)時(shí)行人檢測(cè)的需求。本文中使用的CVC數(shù)據(jù)集均為站立狀態(tài)下的行人，與實(shí)際工作環(huán)境下可能存在不同工作姿態(tài)的工人有一定差異，后續(xù)將對(duì)不同姿態(tài)下行人目標(biāo)的檢測(cè)進(jìn)行研究，進(jìn)一步提升該方法的可靠性與實(shí)用性。

參考文獻(xiàn)（References）

[1] GB 3836.1—2010 爆炸性環(huán)境 第1部分：設(shè)備通用要求[S].北京：中國(guó)標(biāo)準(zhǔn)出版社，2011.

[2] Emil Pop， Gabriel-Ioan Ilcea， Ionut-Alin Popa. Distance Control and Positive Security for Intrinsic Equipment Working in Explosive Potential Atmospheres[J].Engineering， 2018，10（3）：75-84.

[3] Xiong Zhang， Shangguan， H.， Ning， A.， et al. Pedestrian Detection with EDGE Features of Color Image and HOG on Depth Images[J]. Automatic Control and Computer Sciences， 2020（54）：168-178.

[4] 滿忠昂，劉紀(jì)敏，孫宗錕.基于局部二值模式與深度置信網(wǎng)絡(luò)的人臉識(shí)別[J].軟件工程，2020，23（05）：13-16;12.

[5] Qian Zhang， Guoqin Gao， Mengru Liu. Pose detection of parallel robot based on improved Hough-K-means and SURF algorithms[J]. The Journal of Engineering， 2019（22）：24-29.

[6] 王志寬.改進(jìn)的量子模型與灰色理論相結(jié)合圖像融合算法的研究[D].天津：天津工業(yè)大學(xué)，2018.

[7] Redouan Lahmyed， Mohamed El Ansari， Ayoub Ellahyani. A new thermal infrared and visible spectrum images-based pedestrian detection system[J]. Multimedia Tools and Applications， 2019， 78（12）：61-85.

[8] Hu Wei， Shen Weining， Zhou Hua. Matrix Linear Discriminant Analysis[J]. Technometrics， 2020， 62（2）：196-205.

[9] 孫思瑞，陶月松，陳彬，等.基于Opencv的雙目視覺(jué)智能防撞系統(tǒng)[J].自動(dòng)化技術(shù)與應(yīng)用，2020，39（05）：11-14.

[10] 程海鷹，王鳳隨，朱樹(shù)明.基于HOG-LBP特征和SVM分類器的視頻摘要方法[J].四川理工學(xué)院學(xué)報(bào)（自然科學(xué)版），2018，31（04）：43-48.

作者簡(jiǎn)介：

萬(wàn)? 偉（1993-），男，碩士生.研究領(lǐng)域：機(jī)器視覺(jué)，機(jī)器人控制.

劉子龍（1972-），男，博士，副教授.研究領(lǐng)域：控制科學(xué)與控制理論，機(jī)器人控制.

孫? ?帥（1993-），男，碩士生.研究領(lǐng)域：非接觸型監(jiān)測(cè)，機(jī)器學(xué)習(xí).

張? ?瑩（1993-），女，碩士生.研究領(lǐng)域：機(jī)器人控制，神經(jīng)網(wǎng)絡(luò).