基于Yolov5s的作業(yè)現(xiàn)場閥門規(guī)范操作識(shí)別方法

趙崇志，盧 俊，田 源，邢金臺(tái)，董金平，張 蕾，田 楓

(1.中國石油天然氣股份有限公司冀東油田分公司，河北 唐山 063004；2.東北石油大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院，黑龍江 大慶 163318)

0 引 言

目前，油田閥門的規(guī)范操作識(shí)別的研究尚未相關(guān)報(bào)道，閥門規(guī)范操作的識(shí)別雖然屬于行為識(shí)別，但是一方面，行為識(shí)別擁有其獨(dú)特的特點(diǎn)，包括處理難度大、數(shù)據(jù)集樣本少、檢測速度慢、過于依賴于場景等問題，也使得行為識(shí)別與目標(biāo)檢測相比發(fā)展緩慢。當(dāng)前行為識(shí)別領(lǐng)域也涌現(xiàn)出了各種不同的技術(shù)方法，比如Cao等人[1]提出了用于行為識(shí)別的最新OpenPose模型，與RMPE(regional multi-person pose estimation)模型[2]和Mask R-CNN(region-based convolutional neural network)模型[3]相比，該網(wǎng)絡(luò)模型的優(yōu)勢在于大大縮短了關(guān)鍵點(diǎn)的檢測周期，并保持檢測精度基本不變。但是，它缺點(diǎn)是參數(shù)共享率低、冗余度高、時(shí)間成本長、模型太大，仍不能解決實(shí)際應(yīng)用需求。

另一方面，基于深度學(xué)習(xí)的目標(biāo)檢測技術(shù)在識(shí)別行為方面展現(xiàn)了其優(yōu)越性，邢予權(quán)使用基于手勢識(shí)別目標(biāo)檢測的監(jiān)控場景下抽煙識(shí)別，取得了不錯(cuò)的識(shí)別效果[4]。王春輝、王全民[5]使用改進(jìn)的YOLOv3識(shí)別學(xué)生的“抬頭”“低頭”“說話”3種姿態(tài)，除滿足識(shí)別的精度外，速度也能滿足實(shí)時(shí)檢測。鄧永川[6]使用DSC-Net+YOLOv3的漏油檢測方法，檢測精度達(dá)到了96.22%，滿足油田企業(yè)檢測要求?；谝陨蟽煞矫妫撐倪x用深度學(xué)習(xí)目標(biāo)檢測方法解決閥門的規(guī)范操作識(shí)別，不僅保證了識(shí)別的精確度，并且速度也達(dá)到實(shí)時(shí)的視頻智能監(jiān)控。

目前，目標(biāo)檢測算法在深度學(xué)習(xí)領(lǐng)域可以分為兩類，一是雙階段目標(biāo)檢測算法，其中包括最具有代表性的Faster R-CNN(faster region-CNN)[7]；二是單階段目標(biāo)檢測算法，代表的有YOLO(you only look once)[8]、單次多框檢測(single shot multibox detector，SSD)[9]算法。2016年，Redmon J[8]提出了Yolo算法，可以一次性地識(shí)別圖片內(nèi)多個(gè)物品的類別和位置，實(shí)現(xiàn)了端到端的圖像識(shí)別，運(yùn)行速度快。此后，YOLO系列算法[10-12]逐步更新?lián)Q代，最新提出的YOLOv5s相比于Faster R-CNN不僅速度快而且參數(shù)小,僅27 MB。

基于YOLOv5s的網(wǎng)絡(luò)結(jié)構(gòu)，該文提出了一種采用YOLOv5s深度學(xué)習(xí)算法的作業(yè)現(xiàn)場閥門規(guī)范操作識(shí)別的模型。自主拍攝閥門操作的數(shù)據(jù)集，并利用數(shù)據(jù)增強(qiáng)方式擴(kuò)充數(shù)據(jù)集，然后將處理好的數(shù)據(jù)輸入YOLOv5s網(wǎng)絡(luò)訓(xùn)練，保存最優(yōu)的訓(xùn)練權(quán)重?cái)?shù)據(jù)，并用作測試集測試。測試結(jié)果表明，所用算法模型的檢測速度和準(zhǔn)確性都達(dá)到了油田作業(yè)現(xiàn)場的要求，智能監(jiān)控系統(tǒng)部署后，閥門安全操作監(jiān)管防護(hù)效果很好。

1 作業(yè)現(xiàn)場閥門規(guī)范操作識(shí)別方法

1.1 閥門識(shí)別原理

開關(guān)閥門是采油工生產(chǎn)中經(jīng)常進(jìn)行的最基本的操作內(nèi)容，正確開關(guān)閥門不僅僅是確保人身安全的保障措施，還可以使閥門始終處于良好的使用狀態(tài)，確保設(shè)備的安全運(yùn)行。正確操作閥門時(shí)，人體應(yīng)位于閥門手輪的側(cè)面，隨閥門位置高低不同，身體適當(dāng)彎曲，頭部在閥門側(cè)上方30 cm左右。錯(cuò)誤操作最危險(xiǎn)的一種就是人體占位不同，應(yīng)禁止人體直面閥門，這樣會(huì)危及操作人員的人身安全。正確操作和錯(cuò)誤操作閥門如圖1所示。二者差別很大，可以使用目標(biāo)檢測進(jìn)行識(shí)別。

圖1 閥門操作示意圖

油田作業(yè)現(xiàn)場工作人員閥門的操作識(shí)別主要由數(shù)據(jù)集獲取、模型訓(xùn)練和錯(cuò)誤操作報(bào)警三部分完成。數(shù)據(jù)集獲取是使用?？低晹z像頭采集工作人員閥門操作的視頻，接下來將獲取到的視頻利用python代碼逐幀截取成圖片，然后對(duì)圖片進(jìn)行數(shù)據(jù)增強(qiáng)和歸一化處理；模型訓(xùn)練是指采用YOLOv5s網(wǎng)絡(luò)訓(xùn)練處理好的數(shù)據(jù)集，且將訓(xùn)練好的模型用于智能監(jiān)控視頻系統(tǒng)，進(jìn)行實(shí)時(shí)的檢測任務(wù)；錯(cuò)誤操作報(bào)警是指出現(xiàn)異常操作就進(jìn)行報(bào)警提示，并將異常出現(xiàn)后的第一幀開始進(jìn)行圖片保存和視頻保存，以備后續(xù)調(diào)查備案。識(shí)別流程如圖2所示。

圖2 識(shí)別流程

1.2 YOLOv5s網(wǎng)絡(luò)框架

UItralytics團(tuán)隊(duì)在2020年提出了YOLOv5模型，其目標(biāo)檢測速度高達(dá)0.007 s，每秒可以處理140幀，同時(shí)結(jié)構(gòu)更為小巧，有四個(gè)不同的版本[13]，使得在模型的快速部署上具有極強(qiáng)的優(yōu)勢，只需簡單調(diào)節(jié)一些網(wǎng)絡(luò)的深度和寬度即可。與傳統(tǒng)的網(wǎng)絡(luò)相比[14]，YOLOv5模型將網(wǎng)絡(luò)分為檢測區(qū)和候選區(qū)兩個(gè)階段，是一種直接利用回歸網(wǎng)絡(luò)實(shí)現(xiàn)目標(biāo)檢測的算法[3]。其在大部分目標(biāo)檢測任務(wù)中同時(shí)兼顧了速度和準(zhǔn)確度。YOLOv5s的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv5s目標(biāo)檢測網(wǎng)絡(luò)以Focus結(jié)構(gòu)為主干，而Focus結(jié)構(gòu)，在YOLOv3和YOLOv4中并沒有這個(gè)結(jié)構(gòu)，其中比較關(guān)鍵是切片操作，并且YOLOv5s有兩種CSP模塊，一種是CSP1_X結(jié)構(gòu)，其應(yīng)用于Backbone主干網(wǎng)絡(luò)，另一種是CSP2_X結(jié)構(gòu)，其應(yīng)用于Neck網(wǎng)絡(luò)中，二者結(jié)合后進(jìn)一步增強(qiáng)整個(gè)網(wǎng)絡(luò)的學(xué)習(xí)能力；YOLOv5s網(wǎng)絡(luò)頸部是采用PAN和FPN的結(jié)構(gòu)，F(xiàn)PA是自上而下的，將高層特征通過上采樣和低層特征作融合得到用于預(yù)測的特征圖；PAN是一個(gè)自底向上的特征金字塔，其自底向上進(jìn)行強(qiáng)定位特征的提取。二者相互促進(jìn)，從不同的主干層對(duì)不同的檢測層進(jìn)行參數(shù)聚合；YOLOv5s頭部繼續(xù)沿用YOLOv4 的檢測頭，使用頸部的特征來預(yù)測邊界框和類標(biāo)簽；YOLOv5s使用一個(gè)在線的數(shù)據(jù)增強(qiáng)策略增加輸入圖像可變性，豐富圖像特征信息，包括Mosaic數(shù)據(jù)增強(qiáng)和自適應(yīng)錨框計(jì)算以及自適應(yīng)圖片縮放。設(shè)計(jì)的目標(biāo)檢測模型可以實(shí)現(xiàn)更高的魯棒性，同時(shí)，采用標(biāo)簽平滑和學(xué)習(xí)率余弦退火衰減等技術(shù)來優(yōu)化網(wǎng)絡(luò)訓(xùn)練過程[15]。

3.1 護(hù)理質(zhì)量管理的信息化 信息技術(shù)的使用是當(dāng)前護(hù)理質(zhì)量管理走向科學(xué)化的必由之路。通過充分整合搜索引擎技術(shù)、數(shù)據(jù)庫技術(shù)、分布存儲(chǔ)技術(shù)等，設(shè)計(jì)醫(yī)院護(hù)理質(zhì)量信息化管理軟件，包括數(shù)據(jù)錄入、統(tǒng)計(jì)分析、實(shí)時(shí)反饋、重大案例分析、專家在線咨詢、工作提醒、危重癥護(hù)理實(shí)時(shí)監(jiān)測、標(biāo)準(zhǔn)查詢等護(hù)理質(zhì)量管理資源共享模塊，實(shí)現(xiàn)全市護(hù)理質(zhì)量評(píng)價(jià)數(shù)據(jù)實(shí)時(shí)監(jiān)測、動(dòng)態(tài)評(píng)價(jià)、專家反饋以及護(hù)理質(zhì)量改進(jìn)的科學(xué)決策，研制開發(fā)護(hù)理風(fēng)險(xiǎn)危機(jī)管理系統(tǒng)，建立全市范圍的護(hù)理安全管理共享平臺(tái)，從而真正實(shí)現(xiàn)護(hù)理質(zhì)量管理的自動(dòng)化與智能化。

1.3 損失函數(shù)

YOLOv5s網(wǎng)絡(luò)訓(xùn)練中的損失函數(shù)由三部分組成：邊界框回歸損失Lciou、分類的損失Lclass、置信度損失Lconf。當(dāng)某個(gè)邊界框內(nèi)沒有目標(biāo)時(shí)，只計(jì)算置信度損失Lconf，若存在一個(gè)目標(biāo)時(shí)，三個(gè)損失同時(shí)計(jì)算。三種損失函數(shù)學(xué)表達(dá)式為[16]：

通過交叉熵的方法計(jì)算置信度損失與分類損失，通過Lciou損失函數(shù)計(jì)算邊界框回歸損失，相比傳統(tǒng)的損失函數(shù)，Lciou損失函數(shù)更多地關(guān)注預(yù)測邊框和實(shí)際邊框二者之間的位置和大小以及距離，進(jìn)而提高了預(yù)測邊框的準(zhǔn)確度和速度。

2 數(shù)據(jù)預(yù)處理

2.1 數(shù)據(jù)采集

該文使用的是一個(gè)自制數(shù)據(jù)集，其被用在在作業(yè)現(xiàn)場閥門規(guī)范操作識(shí)別模型上，使用油田現(xiàn)場專業(yè)的?？低晹z像頭拍攝工人對(duì)閥門操作，拍攝視頻剪輯后，通過python代碼處理視頻獲取每幀的照片，按1∶1的正樣本和負(fù)樣本選取2 000張閥門操作照片。

由于收集到的數(shù)據(jù)量很小，為了避免模型的過度擬合，提高模型的泛化能力，使用了隨機(jī)角度旋轉(zhuǎn)和隨機(jī)亮度增強(qiáng)的方法以及大小不等的黑色遮擋策略擴(kuò)充數(shù)據(jù)樣本，因此訓(xùn)練后的網(wǎng)絡(luò)模型能夠滿足欄桿遮擋，不同姿勢的閥門操作識(shí)別需求，其數(shù)據(jù)增強(qiáng)示例見圖4。

圖4 數(shù)據(jù)增強(qiáng)

通過數(shù)據(jù)增強(qiáng)獲得閥門操作圖片5 000張，包含隨機(jī)黑塊遮擋、隨機(jī)方向選擇、隨機(jī)亮度變化下閥門操作圖片。圖片數(shù)據(jù)中有兩類閥門操作圖片，總計(jì)2 500張正確操作圖片，2 500錯(cuò)誤操作圖片，可以保證數(shù)據(jù)的豐富性，以及正負(fù)樣本的平衡。

2.2 數(shù)據(jù)標(biāo)注

在訓(xùn)練YOLOv5s 模型之前，應(yīng)該對(duì)處理后的數(shù)據(jù)集進(jìn)行標(biāo)簽標(biāo)注。在實(shí)驗(yàn)中，使用了標(biāo)簽標(biāo)注工具LableImage，設(shè)置正確操作閥門標(biāo)簽為operation，錯(cuò)誤操作閥門標(biāo)簽為error operation，標(biāo)簽標(biāo)注后被保存為xml數(shù)格式的文件，兩個(gè)類別閥門操作的圖片標(biāo)簽標(biāo)記信息如圖5所示。

圖5 數(shù)據(jù)標(biāo)注

標(biāo)注后保存的xml標(biāo)簽內(nèi)容見表1。表格中每一行的數(shù)據(jù)代表一個(gè)標(biāo)注邊框的位置信息，其中x、y、w、h分別代表標(biāo)注框中心點(diǎn)的x 軸及y軸方向的坐標(biāo)位置以及標(biāo)注框的寬和高。實(shí)驗(yàn)進(jìn)行模型訓(xùn)練，隨機(jī)劃分75%的數(shù)據(jù)集作為訓(xùn)練集，25%作為測試集。

表1 數(shù)據(jù)標(biāo)注

3 試驗(yàn)與分析

3.1 試驗(yàn)配置

訓(xùn)練平臺(tái)的參數(shù)配置越高，圖形計(jì)算能力更強(qiáng)，模型訓(xùn)練的效果會(huì)更好。為了使模型達(dá)到良好的訓(xùn)練效果，在GPU上對(duì)YOLOv5s網(wǎng)絡(luò)進(jìn)行訓(xùn)練，YOLOv5s網(wǎng)絡(luò)模型的訓(xùn)練平臺(tái)的配置信息如表2所示。

表2 訓(xùn)練平臺(tái)配置

處理好的自制數(shù)據(jù)集傳入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練設(shè)置的超參數(shù)如表3所示。

表3 超參數(shù)設(shè)置

3.2 模型評(píng)估

損失值是指由損失函數(shù)計(jì)算出的樣本預(yù)測值和真實(shí)值之間的誤差。損失值越小，預(yù)測效果越高。在網(wǎng)絡(luò)訓(xùn)練結(jié)束后，會(huì)生成完整的訓(xùn)練日志，取日志中的部分?jǐn)?shù)據(jù)進(jìn)行折線圖繪制，得到損失值折線圖如圖6所示。

圖6 損失值曲線

從圖6損失值曲線可以看出，隨著迭代次數(shù)的增加，損失值開始逐漸減少。經(jīng)過300次的迭代，損失值穩(wěn)定在0.01，這證明網(wǎng)絡(luò)模型的訓(xùn)練效果良好。

3.3 檢測效果

為了驗(yàn)證模型的檢測效果，在200張測試集上測試，得到如表4所示結(jié)果，結(jié)果表明YOLOv5s無論是在準(zhǔn)確率還是mAP上，YOLOv5s表現(xiàn)能力更好。

表4 不同算法對(duì)比

為驗(yàn)證基于YOLOv5s的作業(yè)人員閥門規(guī)范操作模型的可行性和實(shí)時(shí)檢測能力，所以將模型嵌入到油田智能視頻監(jiān)控系統(tǒng)，使用?？低曄鄼C(jī)在線獲取作業(yè)人員閥門操作視頻流，網(wǎng)絡(luò)模型對(duì)獲得的視頻流進(jìn)行實(shí)時(shí)檢測，檢測的效果見圖7。

圖7 檢測效果圖

由圖7可知，該模型完成了對(duì)作業(yè)人員錯(cuò)誤操作閥門的檢測任務(wù)，檢測準(zhǔn)確率達(dá)到93%，能達(dá)到實(shí)時(shí)檢測，能夠滿足智能監(jiān)控系統(tǒng)下的作業(yè)人員閥門操作的識(shí)別。

4 結(jié)束語

為了解決人工的監(jiān)控手段不能對(duì)閥門操作錯(cuò)誤行為及時(shí)進(jìn)行檢測和發(fā)出預(yù)警，使得危險(xiǎn)事故不能在較短時(shí)間之內(nèi)得到有效妥善的處理的問題，文中提出了一種基于YOLOv5s 網(wǎng)絡(luò)的作業(yè)現(xiàn)場閥門規(guī)范操作識(shí)別的模型，自己制作閥門操作數(shù)據(jù)集，通過圖像增強(qiáng)方法解決閥門周圍的欄桿遮擋問題，保證了數(shù)據(jù)集的豐富性。訓(xùn)練后的模型實(shí)際檢測效果很好，檢測準(zhǔn)確率達(dá)到了93%，檢測速度能達(dá)到實(shí)時(shí)的效果。