基于YOLO的安全帽檢測方法①

林 俊,黨偉超,潘理虎,2,白尚旺,張 睿

1(太原科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,太原 030024)

2(中國科學(xué)院 地理科學(xué)與資源研究所,北京 100101)

圖像視頻中的場景目標(biāo)物體檢測已經(jīng)成為當(dāng)前人工智能、計(jì)算機(jī)視覺領(lǐng)域的一個(gè)研究熱點(diǎn)[1,2].而生產(chǎn)安全問題一直是一個(gè)社會關(guān)注度極高的問題,每年近百萬起安全事故給社會和家庭帶來巨大的壓力.根據(jù)相關(guān)報(bào)告顯示,95%的安全事故是由于工人的違規(guī)違章造成的.安全帽作為作業(yè)工人最基本的個(gè)體防護(hù)裝備,對工作人員的生命安全具有重要意義.但是,部分操作人員安全意識缺乏,不佩戴安全帽行為時(shí)有發(fā)生.安全帽檢測已經(jīng)成為構(gòu)建生產(chǎn)安全視頻監(jiān)控的一項(xiàng)重要技術(shù),在煤礦、變電站、建筑工地等實(shí)際場景中需求廣泛.

目標(biāo)檢測是指找出輸入圖像中的目標(biāo)物體,包含物體分類和物體定位兩個(gè)子任務(wù),判斷物體的類別和位置.傳統(tǒng)的目標(biāo)檢測方法如幀差法[3]、光流法[4]、背景差分法[5]、viola-Jones 檢測器[6]、HOG 檢測器[7]、可變性部件模型(Deformable Part based Model,DMP)[8]等.這些方法在檢測時(shí)主要分為三個(gè)步驟：第一步獲取前景目標(biāo)信息或者采用滑動窗口對圖像中的每一個(gè)尺度和像素進(jìn)行遍歷,第二步進(jìn)行特征提取,第三步利用提取到的特征建立數(shù)學(xué)模型或者利用分類器(如SVM[9]、AdaBoost[10])進(jìn)行分類得到目標(biāo)檢測結(jié)果.傳統(tǒng)的檢測方法在特定的場景下可以取得良好效果,但在開放環(huán)境下,如角度變換、光照不足、天氣變化等,其準(zhǔn)確性難以得到保證,且泛化能力差.除此之外,基于傳統(tǒng)的手工特征設(shè)計(jì)依賴大量的先驗(yàn)知識,主觀性強(qiáng),分三步走的檢測過程繁瑣、計(jì)算開銷大,在一些要求實(shí)時(shí)檢測的場景,往往具有挑戰(zhàn)性.

近年來人工智能快速發(fā)展,計(jì)算機(jī)視覺作為人工智能的一個(gè)重要研究方向,也迎來了第三次熱潮[11].目標(biāo)檢測作為計(jì)算機(jī)視覺領(lǐng)域的一個(gè)研究熱點(diǎn),大量的基于卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)秀目標(biāo)檢測算法取得了巨大的成功[12],激勵(lì)著越來越多的學(xué)者開始致力于深度學(xué)習(xí)目標(biāo)檢測算法的研究.YOLO[13](You Only Look Once)是由Joseph Redmon 等人最早在2016年CVPR 上提出的基于卷積神經(jīng)網(wǎng)絡(luò)、快速、高效、開放的目標(biāo)檢測算法,截止2018年,已有3 個(gè)改進(jìn)的版本：YOLO,YOLO9000[14],和YOLOv3[15].YOLO9000 在YOLO 的基礎(chǔ)上進(jìn)行優(yōu)化和改進(jìn),加入了批標(biāo)準(zhǔn)化層(Batch Normalization,BN)和類Anchor 機(jī)制,在保證實(shí)時(shí)性的前提下,準(zhǔn)確率有了較大的提升,可以檢測9000 類目標(biāo).YOLOv3 在YOLO和YOLO9000 的基礎(chǔ)上進(jìn)行改進(jìn),采用特征融合和多尺度預(yù)測,在檢測速度和檢測精度上都達(dá)到了最先進(jìn)的水平.

本文首先根據(jù)是否佩戴安全帽單類檢測,修改分類器,將輸出修改為18 維度的張量.之后采用YOLOv3在ImageNet 上的預(yù)訓(xùn)練模型,在此基礎(chǔ)對實(shí)際場景下采集到的2010 張數(shù)據(jù)樣本進(jìn)行標(biāo)注并訓(xùn)練,根據(jù)損失函數(shù)曲線和IOU 曲線對模型進(jìn)行優(yōu)化,得到最優(yōu)的安全帽檢測模型.基于YOLOv3 的安全帽檢測方法能夠自主學(xué)習(xí)目標(biāo)特征,減少手工特征設(shè)計(jì)人為因素干擾,具有較高的準(zhǔn)確率,對復(fù)雜場景下的不同顏色、不同角度的安全帽檢測展現(xiàn)出很好的泛化能力和健壯性.

1 安全帽檢測

基于深度學(xué)習(xí)的目標(biāo)檢測算法主要分為兩類：一類是以RCNN[16-18]系列算法為代表的、“兩步走”的基于候選區(qū)域的目標(biāo)檢測算法,一類是以YOLO、SSD[19]為代表的、“一步走”的基于回歸的目標(biāo)檢測算法.基于候選區(qū)域的目標(biāo)檢測算法從理論上來講比基于回歸的目標(biāo)檢測算法精準(zhǔn)度更高,以Faster-RCNN 為代表,基于候選區(qū)域的目標(biāo)檢測算法由卷積層(convolution layers)、區(qū)域候選網(wǎng)絡(luò)(Region Proposal Networks,RPN)、感興趣區(qū)域池化層(ROI Pooling)、分類層(Classification)四部分組成.卷積層由一組基礎(chǔ)的卷積層、激活層和池化層組成,用來提取特征,產(chǎn)生后續(xù)所需要的特征圖；區(qū)域候選網(wǎng)絡(luò)主要用于生成區(qū)域候選框；感興趣區(qū)域池化層負(fù)責(zé)收集特征圖和區(qū)域候選框,將信息綜合起來進(jìn)行后續(xù)類別的判斷；最后一層分類層,根據(jù)區(qū)域候選網(wǎng)絡(luò)綜合的信息進(jìn)行目標(biāo)類別的判定,同時(shí)修正候選框的位置.總的來說,Faster-RCNN 首先采用RPN 網(wǎng)絡(luò)產(chǎn)生候選框,之后再對候選框進(jìn)行位置的修定和目標(biāo)的分類.由于其復(fù)雜的網(wǎng)絡(luò)構(gòu)成,檢測速度相對來說比較慢一點(diǎn).基于回歸的目標(biāo)檢測算法真正意義上實(shí)現(xiàn)了端到端的訓(xùn)練,以YOLO為代表,基于回歸的目標(biāo)檢測算法一次性完成目標(biāo)的分類與定位,整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)只由卷積層組成,輸入的圖像只經(jīng)過一次網(wǎng)絡(luò),所以基于回歸的目標(biāo)檢測算法更快.改進(jìn)版的YOLOv3,不論在速度上還是在精度上都到達(dá)了最先進(jìn)的水平.

由于YOLOv3 在目標(biāo)檢測上取得優(yōu)異成績,將YOLOv3 算法應(yīng)用于安全帽檢測.基于ImageNet 上的預(yù)訓(xùn)練模型,修改分類器,用采集到的2010 張樣本數(shù)據(jù)訓(xùn)練安全帽檢測器(Helmet Detector).利用訓(xùn)練得到的安全帽檢測器對包含2000 張圖片的測試集進(jìn)行測試,圖1展示了安全帽檢測器結(jié)構(gòu).

1.1 YOLOv3 網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv3 以darknet-53 作為基礎(chǔ)網(wǎng)絡(luò),采用多尺度預(yù)測(類FPN[20]) 的方法,分別在大小為13×13、26×26、52×52 的特征圖上進(jìn)行預(yù)測.多尺度預(yù)測和特征融合提高了小目標(biāo)的識別能力,從而提升整個(gè)網(wǎng)絡(luò)的性能.圖2顯示了YOLOv3 的網(wǎng)絡(luò)結(jié)構(gòu).

YOLOv3 整個(gè)網(wǎng)絡(luò)只由一些卷積層(convolution layers)、激活層(leaky relu)、批標(biāo)準(zhǔn)化層(Batch Normalization,BN)構(gòu)成.對于一張指定的輸入圖像,首先通過darknet-53 基礎(chǔ)網(wǎng)絡(luò)進(jìn)行特征的提取和張量的相加,之后在得到的不同尺度的特征圖上繼續(xù)進(jìn)行卷積操作,通過上采樣層與前一層得到的特征圖進(jìn)行張量的拼接,再經(jīng)過一系列卷積操作之后,在不同特征圖上進(jìn)行目標(biāo)檢測和位置回歸,最后通過YOLO 檢測層(YOLO Detection)進(jìn)行坐標(biāo)和類別結(jié)果的輸出.

圖1 安全帽檢測器結(jié)構(gòu)

圖2 YOLOv3 網(wǎng)絡(luò)結(jié)構(gòu)

1.2 分類器設(shè)置

YOLOv3 算法在COCO 數(shù)據(jù)集上檢測80 種物體類別.本應(yīng)用場景中,只需要檢測沒有佩戴安全帽一類,可以將安全帽檢測轉(zhuǎn)化為一個(gè)單分類問題,減少網(wǎng)絡(luò)計(jì)算開銷.

YOLOv3 輸出3 個(gè)不同尺度的特征圖：y1、y2、y3,如圖2所示.不同的特征圖對應(yīng)不同的尺度,分別為13×13、26×26、52×52,深度均為255.在YOLOv3中,采用類Anchor 機(jī)制,通過維度聚類的方法確定模版框(anchor box prior),模版框的個(gè)數(shù)k=9,k為超參數(shù),在實(shí)驗(yàn)的基礎(chǔ)上得出.9 個(gè)模版框由3 個(gè)輸出張量平分,每個(gè)輸出張量中的每個(gè)網(wǎng)格會輸出3 個(gè)預(yù)測框,所以針對有80 種類別的COCO 數(shù)據(jù)集來說,輸出張量的維度為3×(5+80)=255,其中3 代表每個(gè)網(wǎng)格預(yù)測的3 個(gè)模版框,5 代表每個(gè)預(yù)測框的坐標(biāo)信息(x,y,w,h),以及置信度(confidence,c).

根據(jù)實(shí)際場景,修改分類器,改變網(wǎng)絡(luò)最后一層的輸出維度.只檢測不戴安全帽一類,輸出維度變?yōu)?×(5+1)=18.這樣可以在不影響實(shí)際需求的前提下,減少網(wǎng)絡(luò)運(yùn)算量,提高檢測精度和速度.

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)集制作

實(shí)驗(yàn)數(shù)據(jù)集來源于建筑工地3 號通道口視頻監(jiān)控.為了使訓(xùn)練數(shù)據(jù)集具有較高的質(zhì)量、模型具有多場景檢測能力,采集到的監(jiān)控中工作人員佩戴安全帽樣本來自后方、前方、左側(cè)方、右側(cè)方等不同的檢測角度,不僅僅局限為某一特定方向.而且這些數(shù)據(jù)來源于一天中的不同時(shí)間階段,具有不同的光照條件.在這樣的數(shù)據(jù)集上進(jìn)行模型訓(xùn)練更具有代表性.制作數(shù)據(jù)集時(shí),首先將獲取到的不同時(shí)間段的視頻監(jiān)控按1 幀/秒進(jìn)行截圖,獲取訓(xùn)練數(shù)據(jù)樣本后再進(jìn)行篩選,過濾掉沒有目標(biāo)的樣本,同時(shí)兼顧不同角度的樣本的數(shù)量,使各個(gè)角度的樣本數(shù)量基本達(dá)到均衡.根據(jù)Pascal VOC和COCO數(shù)據(jù)集的圖像標(biāo)注標(biāo)準(zhǔn),將獲取到的樣本使用yolomark 進(jìn)行標(biāo)注,產(chǎn)生訓(xùn)練所需要的xml 文件.訓(xùn)練樣本示例和標(biāo)注后的訓(xùn)練樣本示例如圖3和圖4所示.本實(shí)驗(yàn)訓(xùn)練集包括2010 張戴安全帽和不戴安全帽樣本,1500 張驗(yàn)證數(shù)據(jù)集,以及2000 張測試集.訓(xùn)練樣本、驗(yàn)證樣本和測試樣本都不重復(fù).如表1所示.

圖3 訓(xùn)練樣本示例

圖4 標(biāo)注后的訓(xùn)練樣本示例

表1 數(shù)據(jù)集

2.2 模型訓(xùn)練細(xì)節(jié)

制作好訓(xùn)練集,采用darknet53.conv.74 預(yù)訓(xùn)練權(quán)重和yolov3-cov.cfg 配置文件,在此基礎(chǔ)上利用標(biāo)注好的訓(xùn)練集進(jìn)行YOLOv3 模型的訓(xùn)練.在訓(xùn)練過程中,保存日志文件和權(quán)重文件.從日志文件中提取loss值和IOU 值做圖,根據(jù)損失函數(shù)和IOU 的變化曲線圖進(jìn)行優(yōu)化調(diào)參并確定最優(yōu)權(quán)重.在測試時(shí),采用loss值最小的迭代次數(shù)產(chǎn)生的權(quán)重作為檢測的最終權(quán)重文件.

3 實(shí)驗(yàn)結(jié)果分析

3.1 Loss和迭代次數(shù)實(shí)驗(yàn)結(jié)果分析

Loss值是整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)的損失函數(shù)部分,它的值越小越好,期望值為0.本實(shí)驗(yàn)中將網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)進(jìn)行微調(diào),在學(xué)習(xí)率(learning rate)為0.001,steps=8000,12 000,scales=0.1,0.1 下迭代20 000 次.由圖5可以看出：在前200 次迭代中,損失函數(shù)值較大,在迭代到大約600 次的時(shí)候損失函數(shù)值驟然下降,從700 到8000 輪迭代過程中,損失函數(shù)值繼續(xù)較快速下降.在進(jìn)行到8000 次的時(shí)候,學(xué)習(xí)率降低為之前的0.1,損失值緩慢下降.在12 000 次的時(shí)又將學(xué)習(xí)率降低為上一次的0.1,學(xué)習(xí)速度變慢,損失函數(shù)小幅度減小,16 000 次以后,損失函數(shù)值幾乎趨于平穩(wěn),不再減少.

圖5 平均loss

3.2 Avg IOU 實(shí)驗(yàn)結(jié)果分析

Avg IOU (Intersection Over Union)指的是在當(dāng)前迭代次數(shù)中,產(chǎn)生的候選框與原標(biāo)記框之間交集與并集的比值,該值越大越好,期望值為1.本實(shí)驗(yàn)從訓(xùn)練日志文件中提取IOU 值信息,采用滑動平均算法對80 000條數(shù)據(jù)進(jìn)行平均,使得曲線更加平滑,觀察變化趨勢.圖6可以看出,從第1 輪到50 000 輪,隨著迭代次數(shù)的增加,平均IOU 值總體呈上升趨勢,從50 000 輪以后,波動逐漸趨于平緩.

圖6 平均IOU

3.3 目標(biāo)檢測準(zhǔn)確度分析

對loss曲線分析,模型采用迭代17 000 次時(shí)的權(quán)重文件作為檢測模型的最終權(quán)重,將2000 張測試集用訓(xùn)練好的模型進(jìn)行測試驗(yàn)證.分析實(shí)驗(yàn)結(jié)果,得出檢測準(zhǔn)確率.如表2所示.

表2 安全帽檢測器檢測結(jié)果分析

實(shí)驗(yàn)在無GPU 的環(huán)境下,平均檢測速度達(dá)到了35 fps,滿足實(shí)時(shí)性的要求.同時(shí),本實(shí)驗(yàn)在較少訓(xùn)練樣本下到達(dá)了98.7%的準(zhǔn)確率,顯示了安全帽檢測方法的優(yōu)越性.圖7展示了安全帽檢測模型結(jié)果示例.

4 結(jié)論與展望

詳細(xì)闡述了基于YOLO 的安全帽檢測方法,包括分類器設(shè)置、訓(xùn)練以及模型優(yōu)化.實(shí)驗(yàn)結(jié)果表明,基于YOLO 的安全帽檢測方法不論在測試精度上還是在檢測速度上都取得了良好的效果.在2000 張測試集上進(jìn)行評估,達(dá)到了98.7%的準(zhǔn)確率；在無GPU 的環(huán)境下,平均檢測速度達(dá)到了35 fps.但是基于YOLO 的安全帽檢測模型在重疊目標(biāo)上會出現(xiàn)漏檢現(xiàn)象,下一步可針對重疊場景、密集目標(biāo)進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)加子網(wǎng)絡(luò)進(jìn)行重疊目標(biāo)的判斷,也可以增加訓(xùn)練樣本的多樣性、提高訓(xùn)練樣本質(zhì)量,在未來需要深入探究.

圖7 安全帽檢測器結(jié)果示例