改進YOLOv5算法在大藤峽水利樞紐工程無人機巡檢中的應用

管繼祥,管世烽

(1.中水珠江規(guī)劃勘測設計有限公司,廣東 廣州 510611;2.廣西大藤峽水利樞紐開發(fā)有限責任公司,廣西 桂平 537200)

國家“十四五”規(guī)劃綱要明確提出“構建智慧水利體系,以流域為單元提升水情測報和智能調(diào)度能力”[1]。2022年3月30日,水利部印發(fā)《數(shù)字孿生水利工程建設技術導則(試行)》,該文指出數(shù)字孿生水利工程應融合人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)等新一代信息技術;此外,該文針對工程安全監(jiān)測的巡視檢查指標提出了具體要求,基礎版要求為“人工巡查、視頻監(jiān)控”,提高版要求為“機器人、無人機巡查”。

近年來,隨著深度學習和計算機視覺技術的發(fā)展,基于深度學習和計算機視覺技術的智能巡檢系統(tǒng)逐漸應用在電力、交通、市政等領域。傳統(tǒng)的人工巡檢在地勢險峻或交通不便的條件下存在巡檢難,巡檢慢等問題,而基于人工智能和計算機視覺技術的智能巡檢系統(tǒng)則可以較好地解決傳統(tǒng)巡檢中存在的這些問題。

大藤峽水利樞紐工程是國務院批準的《珠江流域綜合利用規(guī)劃》《珠江流域防洪規(guī)劃》確定的流域防洪控制性工程,是《保障澳門珠海供水安全專項規(guī)劃》確定的流域水資源配置骨干工程,是廣西建設西江億噸黃金水道的關鍵節(jié)點,也是國務院批復的《紅水河綜合利用規(guī)劃》確定的十個水電梯級開發(fā)的最后一級。

大藤峽水利樞紐工程壩址位于珠江流域西江水系黔江河段的大藤峽出口處,是國務院批準的流域防洪關鍵性工程[2],控制流域面積19.86萬km2,占西江流域面積的56.2%,控制水資源量1 309億m3,占西江水資源量的56%,控制洪水量占梧州站洪量的65%。因此,大藤峽水利樞紐的安全運行對于保障珠江流域防洪安全和粵港澳大灣區(qū)的水安全具有重要意義。

目前針對水利樞紐的岸線安全監(jiān)測主要采用人工實地查看的傳統(tǒng)方式進行,這種方式存在耗時較長、巡檢效率低、人力成本高、作業(yè)人員有安全風險等缺點。無人機具有體積小、作業(yè)速度快、機動性強等優(yōu)點[3],特別是在地勢較為險峻的岸線處,工作人員難以到達,此時無人機便可發(fā)揮其獨特的優(yōu)勢。

基于上述背景,本文以廣西大藤峽水利樞紐為實際研究對象,利用無人機結合人工智能檢測技術,對廣西大藤峽水利樞紐岸線進行智能化巡檢,在水利行業(yè)智能化巡檢方向做出了初步探索,為保證水利樞紐的安全運行提供了解決方案。

1 改進YOLOv5算法

YOLOv5是一種目標檢測算法,實現(xiàn)了端到端的檢測和定位,具有速度快、準確率高等優(yōu)點,是目前最先進的目標檢測網(wǎng)絡之一。YOLOv5的輸入端采用自適應圖片縮放、錨框計算以及Mosaic數(shù)據(jù)增強的方式對檢測目標進行處理。Backbone部分用于提取特征,其中Focus為YOLOv5中的獨有結構,采用切片操作將輸入通道擴充為原來的4倍。Head部分包含了提取融合特征的頸部(Neck)和Detect模塊,Neck部分采用了特征金字塔網(wǎng)絡(Feature Pyramid Networks,FPN) 與路徑聚合網(wǎng)絡(Path Aggregation Network,PAN)相結合的結構[4],將FPN層通過上采樣的方式與自底向上的特征金字塔進行結合,PAN層將低層特征與高層特征進行傳遞融合,同時將主干層與檢測層進行特征融合,使模型更好地提取重要特征[5]。

無人機在航拍的過程中,由于飛行的高度不同,物體的尺寸變化會較大。其次,無人機在飛行拍攝的過程中,被拍攝物體會產(chǎn)生運動模糊的現(xiàn)象,給物體的識別帶來困難。TPH-YOLOv5則是在YOLOv5的基礎上進行了改進,優(yōu)化了網(wǎng)絡結構,提高了在特定場景下的檢測精度和穩(wěn)定性。為了解決上述2個問題,TPH-YOLOv5算法在YOLOv5的基礎之上做了如下改進。

a)使用Transformer Prediction Heads(TPH)替換原來的預測頭部:利用Transformer編碼器來代替一些卷積核CSP結構,相較于YOLOv5的原始結構,將Transformer編碼器應用到Neck部分,形成了Transformer Prediction Heads(TPH),由于Transformer具有獨特的注意力機制,可以獲得更加豐富的全局信息和上下文信息。

b)將檢測器調(diào)整為4個,增加1個專門用于超小目標的檢測器[11],結合之前的3個檢測器,4個檢測器的結構能夠降低目標物尺寸的變換帶來的負面影響。

c)集成了卷積塊注意力模塊(Convolutional Block Attention Module,CBAM)[11]。改進后的TPH-YOLOv5網(wǎng)絡整體結構見圖1。

圖1 TPH-YOLOv5網(wǎng)絡結構

圖1中藍色字體0～35代表從Backbone到Neck的模塊序號,圖1中右側黑色字體1、2、3、4代表4個TPH預測頭部。圖1中CBAM是一個輕量級的注意力模塊,不但能夠以端到端的方式進行訓練,而且能集成到許多主干網(wǎng)絡中以提高性能,CBAM模塊的結構見圖2。

圖2 CBAM模塊結構

注意力機制作用就是讓網(wǎng)絡知道重點去關注哪一部分,相應實現(xiàn)重要特征的突出表現(xiàn),同時抑制不那么突出的特征[12]。CBAM模塊包含通道注意力(Channel Attention Module,CAM)模塊和空間注意力(Spitial Attention Module,SAM)模塊,分別用于提取通道注意力和空間注意力[11-12]。給定一個特征映射,CBAM將沿著通道和空間2個獨立維度依次推斷出注意力映射,然后將注意力映射與輸入特征映射相乘,以執(zhí)行自適應特征細化[13]。

通道注意力模塊CAM的結構見圖3,通道注意力模塊采用了最大池化(Max Pool)和全局平均池化(Average Pool)對目標區(qū)域的特征信息進行增強,CAM模塊在空間維度壓縮了H與W,在通道維度保持C不變。通道注意力機制是一種自適應地選擇輸入張量中最重要的特征通道的方法。在卷積神經(jīng)網(wǎng)絡中,每個卷積層會輸出多個特征圖,每個特征圖對應一個特征通道。通道注意力機制通過計算特征圖中每個通道的重要性權重,自動調(diào)整不同通道的權重,從而使網(wǎng)絡更加關注那些對分類或回歸任務最有幫助的特征通道,提高模型的表現(xiàn)。

圖3 CAM模塊結構

在CAM作用下,圖像的位置信息會產(chǎn)生一定的丟失,因此引入空間注意力模塊(SAM),空間注意力模塊(SAM)的結構見圖4。

圖4 SAM模塊結構

空間注意力機制是一種自適應地選擇輸入張量中最重要的空間區(qū)域的方法。在卷積神經(jīng)網(wǎng)絡中,每個特征圖由多個空間位置組成?？臻g注意力機制通過計算特征圖中每個空間位置的重要性權重,自動調(diào)整不同空間位置的權重,從而使網(wǎng)絡更加關注那些對分類或回歸任務最有幫助的空間區(qū)域,由于特征具有空間關聯(lián)性,利用空間注意力模塊SAM可以較好地對航拍影像中目標物的位置信息進行關注,對通道注意力特征進行有效補充。

2 數(shù)據(jù)采集與處理

為保障大藤峽水利樞紐工程蓄水期間庫區(qū)岸線的安全,本文開展基于無人機低空遙感技術的蓄水期間庫岸巡查監(jiān)測工作。出于對作業(yè)人員安全和無人機設備安全的考慮,一般選取在晴朗天氣的上午和下午開展航攝任務。本文所采用的無人機型號為大疆M300,其航攝視頻分辨率為3840×2160,視頻幀率為30 fps。針對大藤峽水利樞紐工程55～61 m的蓄水過程,本項目組分別在2022年11月下旬和2022年12月上旬拍攝完成航攝任務(圖5)。航攝范圍包括庫區(qū)部分搬遷村屯、易塌岸范圍等重點敏感區(qū)域共計76 km,視頻時長共計400余min,所拍攝視頻為MOV格式。利用“Free Video to JPG Converter”軟件將大藤峽岸線航攝視頻轉換成jpg格式圖像,圖像截取間隔為10 s,經(jīng)過篩選之后共計2 400張。

圖5 現(xiàn)場人員進行航拍作業(yè)

河道中漂浮的垃圾會對船只的正常航行造成安全隱患,如果垃圾聚集在一起則可能會造成河道阻塞。庫區(qū)水位的漲跌變化容易造成岸線土壤裸露處的坍塌,汛期期間水位上漲,易造成岸線周邊房屋的淹沒,對人民的生命財產(chǎn)安全構成威脅。針對上述現(xiàn)象,本文確定了8類待檢測目標物。

利用標注軟件Labelimg將數(shù)據(jù)集進行人工標注,目標物類別包括:聚集型垃圾(g_garbage:壩站設置的攔網(wǎng)或建筑處所形成的聚集型漂浮物)、分散型垃圾(d_garbage:河面飄散的不成堆,零散的漂浮物)、運輸船(trans_boat:河道中的運輸船只)、棄渣(spoil:主要為施工區(qū)域的廢棄建筑垃圾)、人(person:路上的行人)、車(car:道路上?？炕蛐旭偟能囕v)、房屋(house:包括居民房、廠房、棚房等各類建筑物)、隱患點(danger:主要為無植被覆蓋、較陡的裸露岸坡)共 8類[14]。

利用標注好的圖像樣本構建大藤峽水利樞紐岸線樣本數(shù)據(jù)庫,樣本庫中包含訓練集和驗證集,兩者的數(shù)量比例為8∶2,將該數(shù)據(jù)集輸入到TPH-YOLOv5深度學習網(wǎng)絡中,進行模型的訓練和驗證。在本文中,深度學習框架為Pytorch,操作系統(tǒng)為Windows10。TPH-YOLOv5的參數(shù)設置如下:epoch為300輪,batchsize為16,學習率設置為0.001,采用帶動量的隨機梯度下降法進行模型優(yōu)化,訓練過程中自動保存最優(yōu)模型。本文所采用的計算機硬件配置為:Intel Xeon Gold 5122 CPU,顯卡NVIDIA RTX-3090(2張,顯存各16 GB)。

3 評價指標及結果分析

在深度學習的模型評價中,通常采用準確率P(Precision)、召回率R(Recall)、平均精度mAP(mean Average Precision,mAP)[15]、這3個指標對模型的性能進行評估。各指標的計算見式(1)—(4):

(1)

(2)

(3)

(4)

式中 TP——成功預測的正例;FP——被誤判為正例的負例;FN——被漏檢的目標數(shù)目;AP——Precision-Recall曲線所圍成的面積;P——反映了模型檢測的準確度,P值越大則檢測的準確率越高;R——反映了模型是否將目標物檢測完整,R值越大則檢測過程中漏檢現(xiàn)象越少;mAP——反映了模型在目標檢測中對所有類別檢測的AP平均值,即所有類別的平均精度。

為了驗證TPH-YOLOv5的模型性能,采用包含 480 張圖片的驗證集作為評估此模型的基礎數(shù)據(jù),各類目標指標匯總見表1。

該模型目標檢測總體準確率和召回率均在80%以上,mAP0.5達到了91.19%,能夠初步滿足巡檢項目的工程需求,實際檢測結果見圖6。

a)房屋、隱患點、棄渣、車、運輸船、聚集型垃圾

b)隱患點

4 結語

本文的研究旨在結合大藤峽水利樞紐工程的實際工程需求,探索應用基于YOLOv5檢測模型和TPH-YOLOv5檢測模型的航拍影像目標檢測技術。通過對該技術的試驗驗證,表明其準確率、召回率、以及mAP指標均能滿足工程應用的需求,并且在處理大量圖像時具有較高的效率,能夠為航拍影像的快速分析提供有效支持。

本研究的成果也表明了基于人工智能的自動化巡檢技術在工程項目管理中的應用前景。該技術的應用可以實現(xiàn)大規(guī)模數(shù)據(jù)的快速分析和處理,提高巡檢效率,降低人力成本和安全風險,并且能夠更加精準地發(fā)現(xiàn)各種隱蔽問題,保障工程項目的安全生產(chǎn)和順利運行。同時,該技術未來可以考慮集成到便攜的嵌入式設備中,將拍攝與檢測同步進行,提高檢測的實時性。因此,本文的研究不僅對水利樞紐工程的智能化管理水平提升具有重要意義,還為其他領域開展基于人工智能技術的自動化巡檢研究提供了有益參考和啟示。