基于YOLOv5視覺感知的實時叉車駕駛操作行為識別方法*

陳友升 周介祺 梁敏健 張大偉 劉桂雄

學術研究

基于YOLOv5視覺感知的實時叉車駕駛操作行為識別方法*

陳友升1周介祺1梁敏健2,3張大偉3劉桂雄1

（1.華南理工大學機械與汽車工程學院，廣東 廣州 510640 2.廣東省特種設備檢測研究院珠海檢測院，廣東 珠海 519002 3.阿拉善盟特種設備檢驗所，內(nèi)蒙古 阿拉善盟 750306）

駕駛員操作信息可反映駕駛情況和操作水平，有助于駕駛安全檢測。以叉車為例，研究一種基于YOLOv5視覺感知的實時叉車駕駛操作行為識別方法。首先，提出該方法的整體架構(gòu)；然后，研究基于操作特征的實時叉車駕駛操作行為識別方法；最后，在一臺合力K30柴油叉車上搭建試驗平臺進行測試。測試結(jié)果表明：本方法操作特征識別率達100%、操作行為識別正確率達98%，具有準確性好、實時識別的特點，可拓展應用于其他車輛操作檢測。

深度學習；目標檢測；行為識別；駕駛操作

0 引言

駕駛員通過與操縱器交互獲取駕駛操作信息，以便監(jiān)控駕駛狀態(tài)[1]、評估駕駛水平[2]。目前，獲取駕駛操作信息的主要方法包括基于車輛信息感知、基于駕駛員生理信號反應和基于駕駛員操作行為感知等。其中基于車輛信息感知方法通過檢測車輛行駛信息，反推駕駛員操作行為，如文獻[3]（2015）通過MEMS慣性傳感器、汽車OBD系統(tǒng)，完成駕駛員操作行為識別，并分析駕駛操作與油耗之間的關系；文獻[4]（2018）通過車輛CAN總線獲取行駛信息，經(jīng)濾波、數(shù)據(jù)融合以及工況識別，反推駕駛操作行為；文獻[5]（2020）通過DAS系統(tǒng)采集行車信息，使用一種基于雙向長短記憶網(wǎng)絡（Bi-LSTM）及全連接神經(jīng)網(wǎng)絡（FC），拓展神經(jīng)網(wǎng)絡檢測模型，借助行車數(shù)據(jù)在時間序列上發(fā)生突變的特征判斷異常駕駛?；隈{駛員生理信號反應方法通過檢測駕駛員腦電、心電、肌電、眼電、皮電等生理信號變化，實現(xiàn)駕駛操作行為識別，如文獻[6]（2012）介紹一種昏睡駕駛識別方法，采用多傳感器融合技術，通過在駕駛員關鍵部位放置電極，檢測生物電情況判斷駕駛員操作狀態(tài)?；隈{駛員操作行為感知方法一般采用視覺傳感器直接獲取駕駛員操作行為進行判斷識別，如文獻[7]（2018）通過單目視覺獲取運動中駕駛員的視頻流，將駕駛員8個骨骼節(jié)點的三維坐標和預先建立的三維人體模型的二維投影進行匹配，檢測和識別駕駛員上半身正常、單手接聽電話、疲勞、醉酒駕駛4種狀態(tài)；文獻[8]（2018）使用視覺傳感器，采用LetNet，AlexNet卷積神經(jīng)網(wǎng)絡分類網(wǎng)絡，完成駕駛員抽煙、玩手機等違規(guī)行為的有效識別；文獻[9]（2019）研究一種基于CNN的非安全駕駛行為視覺傳感識別方法，平均識別率達97.13%。綜上所述：基于車輛信息感知方法、基于駕駛員生理信號反應方法采用間接技術，難以獲取駕駛員真實操作的完整信息；基于駕駛員操作行為感知方法，采用視覺傳感器，可實時獲取駕駛操作信息，是目前駕駛操作行為識別的主流方法。

本文采用駕駛員操作行為感知方法，結(jié)合深度學習的圖像目標檢測算法，提出一種基于YOLOv5視覺感知的實時叉車駕駛操作行為識別方法，利用工業(yè)相機實時識別叉車駕駛操作行為。

1 基于YOLOv5視覺感知的實時叉車駕駛操作行為識別方法

基于YOLOv5視覺感知的實時叉車駕駛操作行為識別方法包括：1） 基于YOLOv5的實時叉車駕駛操作特征提取方法；2） 基于駕駛操作邏輯的實時叉車駕駛操作行為識別方法，框圖如圖1所示。通過視覺傳感器結(jié)合深度學習目標檢測算法，獲取駕駛操作特征，建立手部與各個操縱器之間的控制模型，實現(xiàn)駕駛操作行為識別。

圖1 基于YOLOv5視覺感知的實時叉車駕駛操作行為識別方法框圖

1.1 基于YOLOv5的實時叉車駕駛操作特征提取方法

常見的深度學習目標檢測算法，如Faster R-CNN將檢測分為候選框提取、分類2個過程，在模型訓練過程中需對RPN，fast R-CNN進行反復訓練，計算量大、檢測時間長。2016年Joseph Redmon等提出基于回歸YOLO目標檢測算法[10]。該算法結(jié)構(gòu)簡單、檢測速度快。YOLO模型經(jīng)過不斷改進與性能提高，2019年在開源社區(qū)提出YOLOv5模型。YOLOv5網(wǎng)絡結(jié)構(gòu)如圖2所示。

圖2 YOLOv5網(wǎng)絡結(jié)構(gòu)

首先，對輸入的叉車駕駛圖片進行特征提取，通過Focus及CSP結(jié)構(gòu)壓縮特征圖，通過FPN網(wǎng)絡進行特征信息的傳遞融合，從而得到預測后的特征圖；然后，通過PAN結(jié)構(gòu)提升預測性能；最后，在預訓練好的YOLOv5網(wǎng)絡中，對叉車關鍵部件及人體操作關鍵位置進行多尺度預測，輸出包括雙手、操作檔桿、方向盤等多個目標的定位框。

YOLOv5模型的損失YOLOv5由回歸損失box、正樣本分類損失cla和正負樣本的前景背景預測分類損失obj組成：

將人工標注數(shù)據(jù)集輸入到Y(jié)OLOv5模型，通過迭代減少YOLOv5，使其收斂到足夠小，模型訓練完成。相機采集實時駕駛行為視頻輸入到已訓練模型中，即可完成實時目標檢測。

1.2 基于駕駛操作邏輯的實時叉車駕駛操作行為識別方法

駕駛員通過手部操作控制叉車作業(yè)，檢測叉車駕駛操作行為需建立手部與各個操縱器之間的控制模型，左右手控制對象及操作形式如表1所示。

表1 左右手控制對象及操作形式

在規(guī)范駕駛過程中，左手負責控制方向盤與駐車制動；右手負責控制方向盤、叉架升降、叉架傾斜、叉車快慢、叉車方向操縱器。這些操縱器按照操作形式又分為移動式、旋轉(zhuǎn)式2種，其操作邏輯不同，操作行為識別方法也不同。

駕駛員握住移動式操縱器手柄，用手掌推動其到達固定位置，完成檔位切換操作。移動式操縱器操作行為識別原理圖如圖3所示。

圖3 移動式操縱器操作行為識別原理圖

可獲得全部操縱器標簽集合W0。

采集駕駛過程中的操作行為視頻，逐幀輸入到已訓練的YOLOv5模型；識別并提取當前圖像中的操特征，可得到當前時刻圖像中所有控制器標簽集合W；通過補集操作，得到被遮擋檔位集合DW；根據(jù)被遮擋標簽可得到被遮擋操縱器對應的標定檔位集合DF。

提取當前圖像中的手部特征、邊界框LeftHand，RightHand，得到其形心坐標LeftHand，RightHand，計算手部（Hand）形心與標定檔位間的歐式距離d：

針對不同的操縱器采用不同的安全距離Li，當dm小于安全距離Li時，即認為在進行操縱器n切換到m檔位的操作。叉架升降操縱器操作識別過程圖如圖4所示。

則在?1到（= 1,2,3…）時刻內(nèi)，轉(zhuǎn)角D（由于時間間隔小，D?[0,p)）為

圖5 方向盤操作行為識別示意圖

2 試驗驗證

在廣東省某叉車培訓場地進行試驗。試驗設備為合力K30柴油叉車，視頻采集設備為某品牌1080 P相機搭配6 mm廣角鏡頭，圖像處理終端為搭載有GTX 1080Ti GPU的筆記本電腦。試驗設備布置示意圖如圖6所示，相機光軸垂直于方向盤平面。試驗時，采集8段共30 min的叉車操作視頻，使用聚類算法提取操作行為圖片500張，并進行標注構(gòu)建模型訓練數(shù)據(jù)集，將訓練集輸入到模型中進行模型訓練。

圖6 試驗設備布置示意圖

在叉車啟動前，采集檔位標定圖片30張，并進行各操縱器檔位標定。駕駛員駕駛叉車進行實操考核，相機實時采集駕駛操作行為圖像，并輸入到已訓練的模型進行特征檢測與操作行為識別。本實驗共進行3段實操考核，實時檢測視頻共10 min，處理圖像約18000幀，依據(jù)每幀操作識別實驗結(jié)果統(tǒng)計得出，操作特征檢出率達100%，操作行為識別率達98%。叉車駕駛操作行為識別效果圖如圖7所示。

圖7 叉車駕駛操作識別效果圖

3 結(jié)論

1） 基于YOLOv5的實時叉車駕駛操作特征提取方法，使用工業(yè)相機獲取叉車駕駛實時操作行為圖像，通過YOLOv5深度學習模型獲取操縱器和駕駛員特征，識別定位叉車關鍵部件及駕駛員操作關鍵點坐標建立叉車駕駛員操作行為模型；

2） 基于駕駛操作邏輯的實時叉車駕駛操作行為識別方法，將圖像特征信息輸入駕駛操作邏輯算法，得到駕駛員當前操作信息，操作特征識別率達100%，操作行為識別正確率達98%。

下一步考慮對操作特征提取和操作行為識別算法進行輕量化處理，設計人工智能的嵌入式系統(tǒng)，將叉車駕駛行為檢測系統(tǒng)產(chǎn)品化，實現(xiàn)叉車駕駛操作的自動化檢測。

[1] 李聰.車輛駕駛狀態(tài)監(jiān)控預警系統(tǒng)設計[J].信息與電腦(理論版),2016(15):131-133,142.

[2] 崔悅,石旭東,于之靖.機場特種車輛駕駛?cè)藛T操作水平評價系統(tǒng)[C]//第七屆全國交通運輸領域青年學術會議,2007.

[3] 封宇華,楊擁民,杜凱,等.汽車駕駛行為與行駛狀態(tài)的數(shù)據(jù)監(jiān)測系統(tǒng)設計[J].單片機與嵌入式系統(tǒng)應用,2015,15(12): 54-57.

[4] 楊新樺,劉寶健,張亮,等.一種駕駛員駕駛水平評價系統(tǒng)及其開發(fā)方法[J].重慶理工大學學報(自然科學),2018,32(9):1-5.

[5] 惠飛,郭靜,賈碩,等.基于雙向長短記憶網(wǎng)絡的異常駕駛行為檢測[J].計算機工程與應用,2020,56(24):116-122.

[6] SAHAYADHAS A, SUNDARAJ K, MURUGAPPAN M. Detecting driver drow siness based on sensors: a review [J].Sensors, 2012,12(12):16937-16953.

[7] 吳晨謀,方志軍,黃正能.基于單目攝像頭的主動式駕駛行為分析算法[J].山東大學學報(工學版),2018,48(5):69-76.

[8] 李俊俊,楊華民,張澍裕,等.基于神經(jīng)網(wǎng)絡融合的司機違規(guī)行為識別[J].計算機應用與軟件,2018,35(12):222-227,319.

[9] 徐丹,代勇,紀軍紅.基于卷積神經(jīng)網(wǎng)絡的駕駛?cè)诵袨樽R別方法研究[J].中國安全科學學報,2019,29(10):12-17.

[10] REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: Unified, real-time object detection[J]. Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA. 2016. 779-788.

Real Time Forklift Driving Operation Behavior Recognition Method Based on YOLOv5 Visual Perception

Chen Yousheng1Zhou Jieqi1Liang Minjian2,3Zhang Dawei3Liu Guixiong1

(1.School of Mechanical and Automotive Engineering, South China University of Technology, Guangzhou 510640, China 2.Guangdong Institute of Special Equipment Inspection and Research Zhuhai Branch, Zhuhai 519002, China 3. Alxa Special Equipment Inspection Institute, Alxa 750306, China)

Driver operation information can reflect the driving situation and operation level, which is helpful to driving safety detection. Taking forklift as an example, a real-time forklift driving behavior recognition method based on YOLOv5 visual perception is studied. Firstly, the overall framework of the method is proposed; Then, the real-time forklift driving behavior recognition method based on operation characteristics is studied; Finally, a test platform is built on a Heli K30 diesel forklift for testing. The test results show that the recognition rate of operation features is 100% and the correct rate of operation behavior recognition is 98%, which has the characteristics of good accuracy and real-time recognition, and can be extended to other vehicle operation detection.

deep learning; objection detection; behavior recognition; driving operation

國家市場監(jiān)督管理總局技術保障專項項目（2019YJ014）；廣東省特種設備檢測研究院科技項目（2020JD10）。

陳友升，男，1996年生，碩士研究生，主要研究方向：先進傳感與儀器。E-mail: 1445140@qq.com

劉桂雄（通信作者），男，1968年生，教授，博導，主要研究方向：先進傳感與儀器。E-mail: megxliu@scut.edu.cn

TH391.4

A

1674-2605(2021)03-0004-06

10.3969/j.issn.1674-2605.2021.03.004