萬偉 劉子龍
摘 要:為解決激光傳感器等避障裝置難以解決爆炸性危險環(huán)境下的防爆問題,提出一種基于機器視覺的AGV小車避障解決方案。磁導(dǎo)航AGV小車在工作中路徑相對固定,主要針對來回走動的工人進行檢測,進而實現(xiàn)減速或制動。為實現(xiàn)高精確度下實時檢測,采用改進HOG算法,結(jié)合線性支持向量機實現(xiàn)更快和更可靠的分類。實驗證明,該方法識別率達到92.84%,漏檢率4%,其準確度和實時性基本滿足危險環(huán)境下的行人檢測要求。
關(guān)鍵詞:AGV; 行人檢測; HOG; 線性支持向量機; 危險環(huán)境
DOI:10. 11907/rjdk. 191617
中圖分類號:TP311.5?? 文獻標識碼:A??????????????? 文章編號:1672-7800(2020)003-0006-04
Research on AGV Vehicle Obstacle Avoidance Based on Improved HOG Algorithm
WAN Wei, LIU Zi-long
(School of Optical Electrical and Computer Engineering,University of Shanghai for Science and Technology, Shanghai 200093, China)
Abstract: In order to solve the problem of explosion-proof in the explosion-hazard environment, a machine vision-based AGV trolley obstacle avoidance solution is proposed. The magnetic navigation AGV trolley has a relatively fixed path during work, and is mainly used for detecting and moving around the working path to realize deceleration or braking. To ensure real-time detection with high accuracy, the improved directional gradient histogram (HOG) algorithm and linear support vector machine (LSVM) are used to achieve faster and more reliable classification. The experiment proves that the recognition rate of the method reaches 92.84%, and the missed detection rate is 4%. Its accuracy and real-time performance can basically meet the pedestrian detection in industrial hazardous environment.
Key Words: AGV; pedestrian detection; HOG; Linear support vector machine; dangerous environment
0 引言
AGV(Automated Guided Vehicle)是裝備有電磁或光學(xué)等自動導(dǎo)引裝置,能夠沿規(guī)定的導(dǎo)引路徑行駛,具有安全保護和移載功能的運輸車[1]。AGV小車由于其靈活性和大負載能力越來越多地應(yīng)用于工業(yè)場所。通用型AGV小車避障手段有超聲波傳感器、紅外傳感器和激光雷達等,這些傳感器多屬于光輻射和電磁波射頻源[2]。2017年5月,《自動導(dǎo)引車(AGV)在危險生產(chǎn)環(huán)境應(yīng)用的安全規(guī)范》標準啟動會在中國科學(xué)院沈陽自動化研究所召開,意味著應(yīng)用于爆炸性危險環(huán)境下的特種AGV將逐步實現(xiàn)標準化、規(guī)范化。
AGV小車主要由車載控制器、驅(qū)動系統(tǒng)、導(dǎo)航系統(tǒng)和避障系統(tǒng)等幾大部分組成[3]??刂啤Ⅱ?qū)動等幾個部分可以通過隔爆型、增安型、本質(zhì)安全型等防爆方式解決防爆問題。文獻[4-5]通過超聲波傳感器實現(xiàn)AGV小車的避障模塊設(shè)計,Zoltan Rozsa等[6]采用的激光雷達避障系統(tǒng)是通用型AGV小車最常見的避障方式。此外還有采用紅外傳感器[7]實現(xiàn)的避障系統(tǒng)。本文采用深度學(xué)習(xí)算法,結(jié)合計算機視覺識別攝像頭采集的障礙物從而實現(xiàn)避障。AGV小車作為搬運機器人,其工作路徑較為固定,工作場景單一,相對于無人駕駛所需的道路行人檢測而言其復(fù)雜性較低。但由于AGV的大負載特性導(dǎo)致剎車距離較長,需要避免緊急停車情況,因此在避障過程中速度識別尤為重要。
隨著深度學(xué)習(xí),特別是卷積神經(jīng)網(wǎng)絡(luò)(CNN)的發(fā)展,在計算機視覺應(yīng)用中,分類和物體識別準確性實現(xiàn)了質(zhì)的飛躍[8]。圖形處理單元(GPU)的發(fā)展顯著促進了機器視覺的發(fā)展,通過并行計算克服了高運算量實時處理問題。此外,云計算的發(fā)展使諸如視頻流分析之類的大運算量處理可以上傳至云端服務(wù)器,這些有利于在實時視頻處理時使用更多的深度學(xué)習(xí)算法。
1 相關(guān)工作
行人檢測包含特征提取和分類兩個基本步驟。首先需要對原始圖像進行處理去除噪聲,并提取最符合人類屬性的特征用于模型訓(xùn)練,然后在分類器中進行分類。Dalal等[9]最先提出使用HOG算法和SVM分類器方法,在當(dāng)時取得了巨大成功;Luca Maggiani等[10]使用具有L1歸一化和SVM分類的HOG-DOT算法,將識別率提高到94.9%,但是誤檢率也隨之提高;文獻[11-12]采用了HOG-LBP方法提高準確度,通過梯度直方圖和局部直方圖提取更精確的特征。事實上,HOG算法與其它算法結(jié)合,在提升準確性的同時使算法的復(fù)雜度變得越來越高[13]?;贕PU加速的神經(jīng)網(wǎng)絡(luò)[14]在識別速度上得到巨大提升,但是傳統(tǒng)的計算機和嵌入式設(shè)備難以滿足硬件要求,在AGV小車上應(yīng)用十分困難。因此,需要在識別率和識別速度之間找到一個最優(yōu)解??紤]到高精度和高檢測速度要求,使用HOG算法可獲得行人的最佳特征,借助LSVM可輕松準確地對行人的線性可分數(shù)據(jù)集進行分類。
2 算法與實現(xiàn)
本文設(shè)計的檢測系統(tǒng)首先使用方向梯度直方圖(HOG)算法對經(jīng)過預(yù)處理的圖像進行特征提取,再通過線性支持向量機(LSVM)對特征進行分類[15],圖1為系統(tǒng)流程。
本文使用INRIA數(shù)據(jù)集進行分析,該數(shù)據(jù)集為128×64的數(shù)據(jù)格式。由于只考慮邊緣方向梯度大小,因此不需要RGB彩色圖像,通過預(yù)處理將RGB圖像轉(zhuǎn)換為灰度圖[16]。
2.1 方向梯度直方圖(HOG)
行人檢測系統(tǒng)的特征提取使用HOG算法[17]。HOG算法假設(shè)一個對象可以根據(jù)其邊緣方向和大小來表征,在圖像的小矩形區(qū)域處理圖像,使算法不受光度或幾何變換影響,只要人處于直立狀態(tài)就可避免運動造成的影響。因此,該算法適用于精確的行人檢測。
2.1.1 梯度計算
通過梯度計算對圖像進行邊緣檢測,計算圖像在[x]和[y]方向上的梯度??紤]到對精度和速度的要求,使用一維微分掩模。通過式(1)和式(2)分別計算[x]和[y]方向的梯度[Mx]、[My],與原始圖像[I]進行卷積。
2.1.2 梯度幅值和角度
使用前面獲得的[Gx]和[Gy],通過式(3)和式(4)計算梯度幅度[G(x,y)]和角度[θ]。
2.1.3 直方圖計算
如圖2所示,輸入圖像分割為單元化的小矩形區(qū)域,其中每個單元由8×8個像素組成,然后計算每個單元的直方圖。直方圖通常定義為一個元素數(shù)組,其中每個元素表示數(shù)據(jù)集中一系列值的出現(xiàn)頻率。對于每個像素,計算9個區(qū)間的直方圖。將0°-180°的角度均分為每個區(qū)間20°。在單元格中,與每個像素對應(yīng)的大小添加到其角度對應(yīng)的區(qū)間中。
為了獲得更高的精確度,使用雙線性插值而不是直接將幅度離散化至每個區(qū)間[18]。對單元格中的每個像素進行雙線性插值到其對應(yīng)的區(qū)間和其最近的鄰域中。對單元格中的所有像素執(zhí)行此操作,就得到一個單元格的直方圖。再將圖像分成若干塊,每個塊由2×2個單元格組成,每個塊與前一個塊重疊50%[19]。通過連接每個單元的9個區(qū)間直方圖形成每個塊的直方圖。因此,每個塊具有36維特征向量。
2.1.4 歸一化
歸一化是影響檢測精度的關(guān)鍵步驟。通過對比度歸一化減少光照、陰影的影響,降低全局亮度的靈敏度。使用L2-norm歸一化提高可靠性和精度。如式(5)所示,用v表示歸一化特征向量,[vk]為第k個塊的特征向量,[ε]是一個常數(shù),用來避免出現(xiàn)分母為零的情況。
圖3為HOG算法提取的梯度特征。
2.2 線性支持向量機(LSVM)
Hilton Bristow等[20]證實了LSVM是最適合HOG算法的分類器之一。如圖4所示,LSVM將圖像分為行人類和非行人類。為了方便表述,將行人作為正類,非行人作為負類,檢測行人的過程就簡化為尋找這兩個類之間的超平面,最接近超平面的數(shù)據(jù)點即為支持向量。
超平面由法向量定義,或者由權(quán)向量[w]和偏差[b]定義。當(dāng)支持向量確定,這些參數(shù)就可通過SVM算法確定。為簡化運算,行人和非行人圖像的類標簽分別取+1和-1。下面算法描述了3個支持向量,即假設(shè)s1為行人圖像,其余兩幅為非行人圖像,再由此推廣至n個支持向量[21]。
LSVM訓(xùn)練過程:
增廣支持向量:將每個訓(xùn)練圖像的支持向量或特征集增廣為1,作為偏置輸入;
通過式(6)確定[αi]:
對于LSVM,映射函數(shù)([φ])是恒等函數(shù),通過式(7)計算常數(shù)[αi]和[si]:
確定權(quán)向量[w]和偏差[b]:
超平面上所有點都滿足方程[wT*x+b=0]。因此,對于任意圖像的特征向量[x],如果[fx]為正,那么就判定為行人圖像,否則為非行人。
3 實驗與分析
3.1 實驗
在INRIA數(shù)據(jù)集上驗證本文算法,數(shù)據(jù)集信息如表1所示。
訓(xùn)練階段,在訓(xùn)練集上實施HOG算法,然后實施LSVM學(xué)習(xí)算法,以確定權(quán)重向量[w]和偏差[b]。INRIA數(shù)據(jù)集中有3 327張圖像的訓(xùn)練集可用于訓(xùn)練LSVM。實驗環(huán)境為Intel Core i7-8750H,python3.7,openCV3.3.1,通過線性內(nèi)核(linear kernel)和SMO(Sequential Minimal Optimization)優(yōu)化算法確定支持向量。
通過線性分類器對測試集中的數(shù)據(jù)進行分類。為了便于觀察實驗結(jié)果,通過非極大值抑制[22](Non-maximum suppression,NMS)去除冗余的識別框。實驗結(jié)果表明該方法識別準確率達到92.84%,識別速度為0.56s,見表2。
3.2 漏檢情況分析
分析漏檢的測試圖片發(fā)現(xiàn),由于HOG算法特性,多數(shù)漏檢情況如圖5所示,圖片中行人軀干大部分被其它已檢測出的行人遮擋,或圖像前景已經(jīng)檢測到行人,背景中出現(xiàn)的行人被漏檢。根據(jù)實際應(yīng)用背景,當(dāng)前景中檢測到行人時,AGV小車即會采取制動措施減速或停車。圖5所示的情況不會對背景中的行人造成危險,滿足設(shè)計要求。
4 結(jié)語
本文在INRIA行人數(shù)據(jù)集上應(yīng)用改進的HOG算法實現(xiàn)了較高精度和識別速度,實驗結(jié)果表明算法基本滿足AGV小車對行人實時檢測需求。但本文使用的數(shù)據(jù)集均為站立的行人,下一步工作將針對實際應(yīng)用場景下不同姿態(tài)的人物以及可能出現(xiàn)的其它障礙物進行數(shù)據(jù)采集并研究,測試該模型在嵌入式設(shè)備上的運行性能,以進一步提高檢測系統(tǒng)的可靠性。未來特種AGV小車將逐步標準化,本文研究具有一定的前瞻性,有較好的應(yīng)用前景。
參考文獻:
[1]王雅蕾,黃莉. 物流設(shè)施與設(shè)備[M]. 重慶:重慶大學(xué)出版社,2012.
[2]劉俊暢,蘆利斌,譚力寧. 基于Arduino的自動避障技術(shù)實現(xiàn)[J]. 信息技術(shù),2014(12):170-172.
[3]董玉德,陳光超,楊先龍,等. 基于姿態(tài)分析的自導(dǎo)引小車控制器的設(shè)計[J]. 汽車工程學(xué)報,2016(3):168-175.
[4]楊芳沛,李偉光,鄭少華,等. 基于超聲波傳感器的AGV避障模塊設(shè)計與實現(xiàn)[J]. 電子設(shè)計工程,2015(22):56-60.
[5]張雷,孫禾,夏士旸,等. AGV避障系統(tǒng)的設(shè)計與實現(xiàn)[J]. 遼寧科技學(xué)院學(xué)報,2018(6):26-31.
[6]ZOLTAN ROZSA, TAMAS SZIRANYI. Obstacle prediction for automated guided vehicles based on point clouds measured by a tilted lidar sensor[J]. IEEE Transactions on Intelligent Transportation Systems, 2018(6): 2708-2720.
[7]劉震,劉志君. AGV避障技術(shù)的改進[J]. 遼寧科技學(xué)院學(xué)報,2017(5):7-8.
[8]高琦煜,芮挺,沙衛(wèi)平,等. 基于邊緣信息增強的CNN行人檢測算法[J]. 江蘇科技信息,2017(25):30-32.
[9]DALAL N, TRIGGS B. Histograms of oriented gradients for human detection[C]. 2005 International Conference Computer Vision and Pattern Recognition, 2005: 886-893.
[10]LUCA MAGGIANI,CEDRIC BOURRASSET. Bio-inspired heterogeneous architecture for real-time pedestrian detection applications[J]. Journal of Real-Time Image Processing,2016(4):210-218.
[11]ZHANG J G, HUANG K Q. Boosted local structured HOG-LBP for object localization[C]. Computer Vision and Pattern Recognition (CVPR), IEEE Conference 2011.
[12]CAMPMANY V, SILVA S, ESPINOSA? A, et al. GPU-based pedestrian detection for autonomous driving[J]. Procedia Computer Science, 2016(5):581-589.
[13]WU S, ROBERT LAGANIèRE, PIERRE PAYEUR. Improving pedestrian detection with selective gradient self-similarity feature[J]. Pattern Recognition, 2015, 48(8): 2364-2376.
[14]TAKUYA FUKAGAI,KYOSUKE MAEDA, SATOSHI TANABE, et al. Speed-up of object detection neural network with GPU[C]. IEEE International Conference on Image Processing, 2018.
[15]李勇澤,陳磊. 訓(xùn)練樣本數(shù)量對HOG-SVM目標檢測算法的影響[J]. 現(xiàn)代計算機,2018(19):24-27.
[16]龔聲蓉,劉純平,王強. 數(shù)字圖像處理與分析 [M].第2版.北京:清華大學(xué)出版社,2006.
[17]HASIN REHANA. Bangla handwritten digit classification and recognition using SVM algorithm with HOG features[C]. International Conference on Electrical Information and Communication Technology (EICT), 2017.
[18]YAO Q,CHEN G T,WANG Z,et al. Automated detection and identification of white-backed planthoppers in paddy fields using image processing[J]. Journal of Integrative Agriculture,2017(7): 1547-1557.
[19]鮑振華. 基于草圖局部不變矩特征的圖像檢索[D]. 西安: 西北大學(xué),2017.
[20]HILTON BRISTOW,SIMON LUCEY. Why do linear SVMs trained on HOG features perform so well[J]. Computer Science,2014(6):123-129.
[21]王彩玲,詹松,荊曉遠. 基于圖像顯著特征的非重疊視域行人再識別[J]. 南京郵電大學(xué)學(xué)報:自然科學(xué)版,2016(3):106-111.
[22]陳金輝,葉西寧. 行人檢測中非極大值抑制算法的改進[J]. 華東理工大學(xué)學(xué)報:自然科學(xué)版,2015(3):371-378.
(責(zé)任編輯:杜能鋼)
收稿日期:2019-04-28
基金項目:國家自然科學(xué)基金項目(61603255)
作者簡介:萬偉(1993-),男,上海理工大學(xué)光電信息與計算機工程學(xué)院碩士研究生,研究方向為控制科學(xué)與控制理論、機器學(xué)習(xí)、圖像處理;劉子龍(1972-),男,博士,上海理工大學(xué)光電信息與計算機工程學(xué)院副教授、碩士生導(dǎo)師,研究方向為控制科學(xué)與控制理論、嵌入式系統(tǒng)、機器人控制。