雨天變電站設(shè)備智能視覺檢測算法與實(shí)時(shí)實(shí)現(xiàn)技術(shù)

楊 寧，高 飛，楊 洋，喻長峰，李麗華，高維露，黎 瑞

(1.中國電力科學(xué)研究院有限公司，北京 100192； 2.華中科技大學(xué) 多譜信息處理技術(shù)國家級重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430074)

變電站是電力系統(tǒng)中的關(guān)鍵一環(huán)，承擔(dān)著變電與配電的重要作用，而變電站設(shè)備長期處于室外運(yùn)行，各種設(shè)備缺陷都會導(dǎo)致電力系統(tǒng)的非正常運(yùn)行，給人民造成重大經(jīng)濟(jì)損失和安全隱患。

基于視頻的變電站戶外設(shè)備監(jiān)控是保障電力系統(tǒng)安全運(yùn)維的重要手段，傳統(tǒng)的目視監(jiān)控效率低、人力成本高，近幾年無人化視覺檢測得到廣泛關(guān)注。隨著計(jì)算機(jī)視覺技術(shù)的不斷發(fā)展，與圖像處理技術(shù)相結(jié)合的視頻監(jiān)控檢測[1-3]技術(shù)逐漸成為變電站設(shè)備監(jiān)控的主流。早期變電站視頻智能檢測主要基于紅外圖像，如楊政勃等[4]通過紅外分析方法，對輸電線路缺陷的紅外圖像完成缺陷定性，基于角點(diǎn)、梯度等圖像特征或基于目標(biāo)檢測方法進(jìn)行絕緣子缺陷的定位。由于紅外圖像無法直觀呈現(xiàn)設(shè)備的外觀形貌，因此基于可見光的變電站設(shè)備智能檢測存在較大的應(yīng)用需求。隨著深度學(xué)習(xí)的蓬勃發(fā)展，大量工作人員[5-8]以可見光圖像作為研究對象，提出了一系列基于卷積神經(jīng)網(wǎng)絡(luò)的電力設(shè)備檢測算法，該系列算法基于數(shù)據(jù)驅(qū)動，通過大樣本學(xué)習(xí)取得了不錯的效果。然而，在實(shí)際應(yīng)用中，依舊存在以下兩個問題。

① 現(xiàn)有的深度學(xué)習(xí)檢測算法大多都是基于晴好圖像數(shù)據(jù)進(jìn)行訓(xùn)練學(xué)習(xí)，而戶外變電站設(shè)備監(jiān)控系統(tǒng)采集圖像時(shí)，不可避免會遭受到雨天等導(dǎo)致的圖像退化問題，使得現(xiàn)有的變電站設(shè)備檢測算法性能嚴(yán)重下降。退化前后目標(biāo)檢測結(jié)果對比如圖1所示。

圖1 退化前后目標(biāo)檢測結(jié)果對比

② 現(xiàn)有的深度學(xué)習(xí)檢測算法通常參數(shù)量大，計(jì)算復(fù)雜度高，大多采用遠(yuǎn)程視頻監(jiān)控[9-10]方式，即終端采集圖像后傳輸?shù)綌?shù)據(jù)中心或云端進(jìn)行處理，該方式存在傳輸數(shù)據(jù)量大、處理速度慢、突發(fā)響應(yīng)不夠及時(shí)等問題，因此如何將深度學(xué)習(xí)算法在嵌入式邊緣端進(jìn)行部署加速也是當(dāng)前智能視覺監(jiān)控應(yīng)用落地的重要瓶頸。

針對上述問題，首先對雨天的退化過程進(jìn)行物理建模，從時(shí)域和空域兩方面進(jìn)行分析，針對其時(shí)空特性，提出了基于細(xì)節(jié)殘差增強(qiáng)的去雨網(wǎng)絡(luò)(Detail Enhancement Residual Network，DERN)，隨后將其與目標(biāo)檢測算法YOLOv4[11]進(jìn)行聯(lián)合優(yōu)化，構(gòu)建了一種雨天穩(wěn)健的變電站設(shè)備目標(biāo)檢測算法；其次，針對變電站設(shè)備智能視覺監(jiān)控實(shí)時(shí)部署需求，以華為昇騰310 AI處理器為計(jì)算核心，構(gòu)建了變電站設(shè)備視覺監(jiān)控嵌入式邊緣端系統(tǒng)，基于處理器的架構(gòu)特性，從算子優(yōu)化、訪存讀寫、多線程并行全方面提升系統(tǒng)性能；最后，通過實(shí)驗(yàn)驗(yàn)證了本文算法和系統(tǒng)的有效性。

1 雨天變電站設(shè)備智能檢測算法

變電站由于長期處在戶外，圖像采集系統(tǒng)不可避免遭受雨天等惡劣天氣的干擾，導(dǎo)致圖像產(chǎn)生嚴(yán)重退化，圖像去雨問題通常被建模為

O=B+R

(1)

式中：O為觀察到的退化圖像；B為需要求解的清晰圖像；R為需要求解的雨條層。圖像去雨任務(wù)本質(zhì)是一種病態(tài)問題求解，實(shí)質(zhì)是尋找一種判別性特征將圖像中雨條與背景進(jìn)行有效剝離。現(xiàn)有的深度學(xué)習(xí)圖像去雨方法大多是通過仿真退化/清晰的圖像對，基于大數(shù)據(jù)驅(qū)動，設(shè)計(jì)特定網(wǎng)絡(luò)的結(jié)構(gòu)自適應(yīng)學(xué)習(xí)擬合清晰圖像或者雨條層的分布，在各自的仿真數(shù)據(jù)集上均取得了較好的效果，但大多數(shù)方法缺乏對雨條在成像過程中的建模，因此泛化性較差。同時(shí)，為了保證網(wǎng)絡(luò)的擬合能力，大多數(shù)方法網(wǎng)絡(luò)參數(shù)量巨大，推理時(shí)間長，無法面向?qū)嶋H應(yīng)用場景。針對上述問題，筆者對雨條分別進(jìn)行時(shí)域和空域上的分析，提出參數(shù)量小、泛化性好的單幅圖像去雨網(wǎng)絡(luò)。

進(jìn)一步，雨天圖像在采集過程中，由于重力影響，橢球形狀的雨滴在曝光過程中會產(chǎn)生運(yùn)動模糊現(xiàn)象，在圖像中表現(xiàn)為明亮雨線，其像素強(qiáng)度變化劇烈，嚴(yán)重影響后續(xù)變電站設(shè)備目標(biāo)檢測等高層視覺算法對圖像內(nèi)容特征的提取，導(dǎo)致算法性能下降?；谌ビ昃W(wǎng)絡(luò)DERN，將底層的圖像去雨任務(wù)和高層識別任務(wù)聯(lián)合起來，提出對雨天穩(wěn)健的變電站設(shè)備目標(biāo)檢測算法。

1.1 基于細(xì)節(jié)殘差增強(qiáng)的圖像去雨網(wǎng)絡(luò)(DERN)

在空域上，自然光照下，雨天視頻中連續(xù)圖像同一位置并非一直存在雨條，Zhang等[12]比較同一位置有雨和無雨時(shí)像素強(qiáng)度變化，其 R、G、B三種顏色成分強(qiáng)度變化相同 ，因此認(rèn)為，在同一像素位置，有雨和無雨時(shí)存在以下公式為

(2)

時(shí)域上，雨條形態(tài)特征在圖像中表現(xiàn)為明亮線條狀，像素強(qiáng)度變化強(qiáng)烈，因此Fu等[13]認(rèn)為，雨條在圖像頻域中主要存在于高頻成分，其方法通過引導(dǎo)濾波獲取圖像的高頻成分，再直接將圖像的高頻作為網(wǎng)絡(luò)輸入，從而讓網(wǎng)絡(luò)直接從圖像的細(xì)節(jié)成分中學(xué)習(xí)到雨條的分布。然而，使用高頻濾波對圖像進(jìn)行分解時(shí)，需要人為設(shè)置參數(shù)來調(diào)節(jié)濾波器窗口的大小，圖像的濾波效果受該參數(shù)影響較大，圖2為相同圖像不同參數(shù)濾波后高頻結(jié)果。同時(shí)圖像的高頻成分信息量有限，單獨(dú)以此作為輸入，網(wǎng)絡(luò)缺乏將高頻中雨條與圖像邊緣進(jìn)行有效區(qū)分的判別性特征。

基于上述分析，構(gòu)建了一種基于細(xì)節(jié)殘差增強(qiáng)的有監(jiān)督圖像去雨網(wǎng)絡(luò)，在數(shù)據(jù)上，以成對的清晰/退化仿真數(shù)據(jù)作為訓(xùn)練樣本，以仿真雨條作為監(jiān)督約束網(wǎng)絡(luò)的訓(xùn)練；在網(wǎng)絡(luò)結(jié)構(gòu)上，為減少網(wǎng)絡(luò)的參數(shù)量，算法在空域上將原圖像從RGB空間域轉(zhuǎn)移到Y(jié)CbCr空間域，并以Y通道作為網(wǎng)絡(luò)的輸入，保留其Cb和Cr空間顏色信息，使得三通道的圖像去雨任務(wù)變成單通道圖像去雨任務(wù)。進(jìn)一步，為增強(qiáng)網(wǎng)絡(luò)的泛化性，在頻域上通過引導(dǎo)濾波得到圖像的細(xì)節(jié)信息，針對引導(dǎo)濾波效果不佳的問題，高頻成分信息不全的問題，通過將圖像細(xì)節(jié)信息與原單通道輸入進(jìn)行級聯(lián)，讓網(wǎng)絡(luò)既能從圖像的細(xì)節(jié)部分學(xué)習(xí)到雨條分布，又能從單通道輸入圖像中學(xué)習(xí)到圖像的背景結(jié)構(gòu)信息，使得二者相互促進(jìn)。最后，為了減小網(wǎng)絡(luò)的學(xué)習(xí)難度，算法避開直接估計(jì)清晰圖像的高難度任務(wù)，引入殘差學(xué)習(xí)，讓學(xué)習(xí)器直接學(xué)習(xí)出雨條的數(shù)據(jù)分布，從而準(zhǔn)確估計(jì)出圖像中的雨條層，與Y通道的退化圖像相減即可得到去雨后的干凈圖像，進(jìn)一步將Y通道中去雨后圖像與退化圖像的CbCr相結(jié)合，色域轉(zhuǎn)換后即可得到RGB空間的去雨后圖像，基于細(xì)節(jié)殘差增強(qiáng)的圖像去雨網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖2 濾波器不同大小窗口下的高頻結(jié)果

圖3 基于細(xì)節(jié)殘差增強(qiáng)的圖像去雨網(wǎng)絡(luò)

其中學(xué)習(xí)器為15個Residual block，為了減小網(wǎng)絡(luò)的學(xué)習(xí)任務(wù)，采取讓網(wǎng)絡(luò)先學(xué)習(xí)雨條分布，再通過將網(wǎng)絡(luò)輸出與仿真得到的雨條進(jìn)行均值誤差損失，通過監(jiān)督信息來約束網(wǎng)絡(luò)的學(xué)習(xí)，具體損失函數(shù)為

(3)

式中：N為單個批次訓(xùn)練集的數(shù)量；f(·)為整個網(wǎng)絡(luò)的函數(shù)的映射；W為網(wǎng)絡(luò)的權(quán)重變量；X_concat為輸入圖像Y通道和引導(dǎo)濾波得到的高頻圖像之間進(jìn)行級聯(lián)后的結(jié)果；Rain_mask為仿真雨條(可從仿真數(shù)據(jù)集直接獲取)，作為監(jiān)督標(biāo)簽，約束網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

1.2 雨天穩(wěn)健的變電站設(shè)備檢測聯(lián)合優(yōu)化算法

變電站電力設(shè)備視覺檢測任務(wù)本質(zhì)上是一個目標(biāo)檢測任務(wù)，常見的電力目標(biāo)檢測任務(wù)主要包含設(shè)備狀態(tài)識別、設(shè)備缺陷檢測、人員安全場景三大類，如表1所示。由于變電站設(shè)備檢測任務(wù)繁雜，實(shí)際場景下干擾雜，對算法實(shí)時(shí)推理要求高，在本研究中，變電站電力設(shè)備視覺檢測任務(wù)精度要求為：準(zhǔn)確度80%；實(shí)時(shí)性要求為：針對1080像素×1080像素的圖像，算法處理幀率20 f/s。YOLOv4目標(biāo)檢測算法采用Mosaic數(shù)據(jù)增強(qiáng)，特征金字塔+下采樣等一系列手段，在檢測精度和速度之間達(dá)到了最佳平衡。綜合考慮，選擇YOLOv4算法實(shí)現(xiàn)變電站設(shè)備檢測任務(wù)。

實(shí)驗(yàn)表明，YOLOv4算法在晴好圖像輸入情況下，能夠滿足變電站設(shè)備目標(biāo)檢測任務(wù)的精度要求。然而，雨天圖像嚴(yán)重影響檢測算法對圖像關(guān)鍵特征的提取，從而導(dǎo)致檢測性能下降甚至失效。針對該問題，現(xiàn)有的處理方式主要有兩種。

表1 典型變電站設(shè)備檢測任務(wù)

① 不增強(qiáng)，直接識別。即將現(xiàn)有的檢測識別算法直接在退化圖像上進(jìn)行訓(xùn)練，通過有監(jiān)督的方式令網(wǎng)絡(luò)學(xué)習(xí)對雨天退化穩(wěn)健的識別模型。然而，雨條退化的表征形態(tài)多樣，角度、方向、長度、寬度都具有不確定性，圖像結(jié)構(gòu)容易遭到破壞，現(xiàn)有的識別算法無法在退化圖像上直接學(xué)習(xí)到完整的背景特征，因此只是在數(shù)據(jù)層面對圖像進(jìn)行退化增廣無法解決問題，算法識別性能無法得到較大的提升。

② 先增強(qiáng)，再識別。即先通過圖像復(fù)原算法對退化圖像復(fù)原，再使用在晴朗的清晰數(shù)據(jù)訓(xùn)練的檢測模型對復(fù)原后的圖像進(jìn)行識別，這樣能在一定程度上提升識別性能，然而現(xiàn)有的算法大多都是將圖像復(fù)原任務(wù)和圖像識別任務(wù)割裂開來，由于復(fù)原后的圖像依然可能存在殘留的雨條或者引入新的退化(如邊緣模糊、偽影、虛假結(jié)構(gòu)等)，這種新的退化依然會限制在干凈圖像上訓(xùn)練的模型檢測性能。針對上述問題，基于去雨網(wǎng)絡(luò)DERN以及YOLOv4檢測算法，提出底層圖像去雨算法和高層目標(biāo)檢測算法聯(lián)合優(yōu)化，具體流程如圖4所示。

圖4 雨天穩(wěn)健的變電站目標(biāo)檢測聯(lián)合優(yōu)化框架

最后的總損失函數(shù)為

Lossall=λ×Lossderain+Lossdetect

(4)

(5)

式中：λ為超參；Lossdetect為YOLOv4檢測算法中的損失函數(shù)，分別為目標(biāo)置信度損失、分類回歸損失和坐標(biāo)位置回歸損失；derainimage為仿真的雨天退化圖像，GTimage為對應(yīng)的清晰圖像，二者之間進(jìn)行MSE(Mean Square Error)約束，實(shí)現(xiàn)去雨功能。將去雨和檢測二者聯(lián)合優(yōu)化，可以讓檢測算法獲得更高精度。

相比傳統(tǒng)的先增強(qiáng)再識別，聯(lián)合優(yōu)化方法主要存在兩點(diǎn)優(yōu)勢。

① 針對去雨任務(wù)，在訓(xùn)練過程中，去雨網(wǎng)絡(luò)的參數(shù)不再只受單個去雨損失函數(shù)影響，檢測算法的損失函數(shù)在訓(xùn)練過程中同樣會回傳到去雨網(wǎng)絡(luò)，從而使得去雨網(wǎng)絡(luò)不再只是單純的恢復(fù)視覺效果，還能直接促進(jìn)檢測任務(wù)指標(biāo)的提升。

② 針對檢測任務(wù)，即使去完雨后圖像仍存在部分殘留或者引入新的退化，但在聯(lián)合優(yōu)化的訓(xùn)練過程中，目標(biāo)檢測網(wǎng)絡(luò)等價(jià)于在復(fù)原后的圖像中進(jìn)行訓(xùn)練，由于損失函數(shù)約束，檢測網(wǎng)絡(luò)會在優(yōu)化中會有針對復(fù)原后的殘留或者新的退化穩(wěn)健的學(xué)習(xí)過程。

2 基于嵌入式AI的邊緣計(jì)算硬件

2.1 硬件系統(tǒng)

硬件系統(tǒng)采用終端式部署方案，將網(wǎng)絡(luò)攝像頭與處理核心進(jìn)行集成設(shè)計(jì)。硬件系統(tǒng)組成如圖5所示，整個系統(tǒng)分為前端智能處理和運(yùn)維中心兩部分。前端智能處理單元負(fù)責(zé)完成對監(jiān)控場景的視覺信息采集工作以及視覺信息智能處理任務(wù)，運(yùn)維中心負(fù)責(zé)完成對檢測結(jié)果的進(jìn)一步處理任務(wù)(存盤、顯示、調(diào)度等)。智能系統(tǒng)中的數(shù)據(jù)傳輸通過網(wǎng)口進(jìn)行，協(xié)議采用RTSP(Real Time Streaming Protocol)與RTMP(Real-Time Messaging Protocol)，盡可能保證數(shù)據(jù)傳輸?shù)膶?shí)時(shí)性。當(dāng)前以圖像數(shù)據(jù)為例的海量大數(shù)據(jù)對遠(yuǎn)程視頻監(jiān)控系統(tǒng)提出了巨大的挑戰(zhàn)，數(shù)據(jù)的傳輸、安全、集中分析都是智能視覺系統(tǒng)所要考慮的問題。假設(shè)變電站視覺采集系統(tǒng)圖像分辨率均為1080P，單個攝像頭每小時(shí)將產(chǎn)生8.69 GB的圖像數(shù)據(jù)，而一個變電站至少會采用50個攝像頭，在這種情況下單個變電站每小時(shí)將產(chǎn)生434.5 GB的圖像數(shù)據(jù)，因此遠(yuǎn)程視頻監(jiān)控[9-10]采取服務(wù)器云端部署方式對數(shù)據(jù)傳輸帶寬有較高要求，處理實(shí)時(shí)性低。與服務(wù)器云端部署相比，利用AI處理器在嵌入式平臺下進(jìn)行邊緣端部署極大地減少了處理核心的能耗，同時(shí)數(shù)據(jù)的傳輸更加快速，處理更加及時(shí)和安全，更適合變電站大規(guī)模部署應(yīng)用。

圖5 硬件系統(tǒng)組成

針對雨天變電站設(shè)備檢測算法，構(gòu)建了一種嵌入式邊緣端智能計(jì)算系統(tǒng)，其處理核心采用華為昇騰310 AI處理器，擁有8核ARM Cortex A55@1.6 GHz，支持128位寬的LPDDR4X，配備有專用于非矩陣類復(fù)雜計(jì)算的AI CPU和提供強(qiáng)大算力的AI Core處理單元，可實(shí)現(xiàn)最大16TOPS(INT8)的計(jì)算能力。昇騰310內(nèi)部架構(gòu)主要包含專用的計(jì)算單元、大容量的存儲單元和控制單元，通過多層級訪存架構(gòu)降低外存訪問頻次，通過高效的數(shù)據(jù)通路提高數(shù)據(jù)流動效能。昇騰310處理器模組如圖6所示，內(nèi)部集成有昇騰310處理器、圖像/音視頻接口處理器，以及豐富的外圍接口等資源，廣泛應(yīng)用在推理場景，實(shí)現(xiàn)圖像數(shù)據(jù)的分析和推理計(jì)算。

圖6 昇騰310處理器模組

在服務(wù)器端完成雨天穩(wěn)健的變電站設(shè)備檢測算法的模型訓(xùn)練，通過昇騰310開發(fā)工具鏈ATC將其轉(zhuǎn)換成與嵌入式AI適配的模型文件(OM模型)，在板端完成部署并進(jìn)行實(shí)時(shí)推理，具體部署流程如圖 7所示。

圖7 離線模型部署流程

2.2 部署優(yōu)化

將智能變電站設(shè)備監(jiān)控硬件系統(tǒng)功能分為圖像解碼、圖像預(yù)處理、算法推理、結(jié)果后處理、編碼輸出5個部分。各模塊之間依次串行處理，統(tǒng)計(jì)各部分耗時(shí)如圖8所示。由于AI芯片的使能，模型的推理時(shí)間不再成為深度學(xué)習(xí)實(shí)時(shí)實(shí)現(xiàn)的主要瓶頸，而圖像的預(yù)處理和后處理時(shí)間占比最多。另外，算法在實(shí)際部署過程中，由于嵌入式硬件架構(gòu)特性不同，模型轉(zhuǎn)換存在量化誤差，在推理時(shí)模型參數(shù)與服務(wù)器端存在差異，由于存在數(shù)據(jù)對齊，嵌入式部署時(shí)的輸入數(shù)據(jù)也與服務(wù)器端存在差異，兩方面使得算法在實(shí)際應(yīng)用中性能下降。針對上述問題，從任務(wù)上對其進(jìn)行細(xì)化分解，采用多線程并行處理，提高算法的實(shí)時(shí)性；同時(shí)，針對嵌入式AI硬件架構(gòu)特性，分別對圖像預(yù)處理和模型輸出后處理算法進(jìn)行優(yōu)化，從而減小模型在實(shí)際部署過程中由于量化誤差所帶來的性能下降。

圖8 變電站設(shè)備監(jiān)控系統(tǒng)各功能模塊耗時(shí)占比統(tǒng)計(jì)

① 任務(wù)并行加速。針對傳統(tǒng)串行的系統(tǒng)數(shù)據(jù)流方式，由于各步驟處理時(shí)間長短不一，部分模塊存在饑餓或者數(shù)據(jù)堆積的情況，從而造成數(shù)據(jù)丟失，極大地增加了處理時(shí)間。昇騰310具備8個A55處理核心資源，其中4個作為AI CPU承擔(dān)非矩陣類運(yùn)算，另外4個作為控制CPU來進(jìn)行任務(wù)調(diào)度，顯然串行的數(shù)據(jù)處理方式無法充分利用其充沛的CPU資源?；谟布嗪擞?jì)算的特點(diǎn)，采用多線程技術(shù)使得模塊之間并行化，整個系統(tǒng)的數(shù)據(jù)流程圖如圖9所示，利用閑置的CPU資源，將模塊之間的處理時(shí)間重疊，極大地減少了系統(tǒng)的整體耗時(shí)。

② 數(shù)據(jù)預(yù)處理優(yōu)化。昇騰310架構(gòu)為提高數(shù)據(jù)流通效率，圖像信息寬高有對齊約束，按照普通的圖像預(yù)處理方式會對最終的檢測精度造成一定的損失，因?yàn)閷R采用一定的優(yōu)化措施來提升算法運(yùn)行精度。如圖10所示，解碼之后的圖像寬高按照128像素×16像素進(jìn)行對齊，如果按照圖10中③所示進(jìn)行后續(xù)處理，會在最終推理階段中增加無效補(bǔ)邊數(shù)據(jù)，造成精度損失，因此按圖10中①所示操作按照原圖進(jìn)行裁剪的方式對其進(jìn)行裁剪，剔除無效補(bǔ)邊數(shù)據(jù)；對于裁剪之后的圖像要進(jìn)行縮放，昇騰310的硬件架構(gòu)約束使得在縮放時(shí)會對圖像寬高按照16像素×2像素對齊，按圖10中④進(jìn)行等比例縮放，會在貼圖的過程中增添無效補(bǔ)邊數(shù)據(jù)，對推理造成影響，因此采用圖10中②所示方法進(jìn)行對齊縮放，避免無效補(bǔ)邊數(shù)據(jù)的影響，提升算法檢測精度。

③ 結(jié)果后處理優(yōu)化。昇騰310處理器具有豐富的CPU核心資源，其中一部分被專用于承擔(dān)非矩陣類計(jì)算，稱之為AI CPU。YOLOv4算法后處理階段包含了算法結(jié)果解碼和非極大值抑制(Non-Maximum Suppression，NMS)，在后處理階段若對每個特征圖上的特征點(diǎn)進(jìn)行解碼和NMS極為耗時(shí)，因此對每個特征點(diǎn)的得分進(jìn)行閾值判斷，刪減部分不滿足的特征點(diǎn)，減少處理耗時(shí)。其次，昇騰310自身所帶的算子庫不支持常見網(wǎng)絡(luò)的后處理算子，因此有兩種方式對結(jié)果進(jìn)行后處理，一種是利用通用CPU來完成后處理過程，但是這種方式計(jì)算速度慢，耗時(shí)較多；另一種是采用AI CPU來完成結(jié)果的后處理，將后處理過程打包成為一個專用的后處理算子，并將后處理算子嵌入到算法模型中在AI CPU側(cè)完成計(jì)算，其計(jì)算的效率遠(yuǎn)遠(yuǎn)高于通用CPU側(cè)。在完成后處理邏輯分析(解碼+NMS)之后，即可利用工具鏈完成自定義算子開發(fā)，最終測試完成之后注冊到昇騰310的算子庫當(dāng)中。

圖9 軟件處理流程

圖10 圖像預(yù)處理優(yōu)化措施

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)參數(shù)設(shè)置

① 數(shù)據(jù)集設(shè)置。背景圖像來自于國家電網(wǎng)某變電站實(shí)地采集以及網(wǎng)絡(luò)搜集，包括絕緣子設(shè)備、變壓器、儀表盤等典型變電站電力設(shè)備圖像5000張，其中訓(xùn)練集4000張，測試集1000張，雨天圖像為機(jī)理仿真生成，具體仿真流程如圖11所示。

圖11 雨條仿真過程

② 去雨網(wǎng)絡(luò)參數(shù)設(shè)置。引導(dǎo)濾波器窗口大小為r=8，數(shù)據(jù)集的訓(xùn)練次數(shù)epoch=100，優(yōu)化算法為Adam，初始學(xué)習(xí)率設(shè)置為0.001，學(xué)習(xí)率的衰減依然采用半分法進(jìn)行衰減。

③ 雨天穩(wěn)健的變電站設(shè)備檢測算法參數(shù)設(shè)置。去雨網(wǎng)絡(luò)保持原參數(shù)設(shè)置，網(wǎng)絡(luò)聯(lián)合優(yōu)化訓(xùn)練中，patch設(shè)定為256像素×256像素，batch_size設(shè)置為4。

實(shí)驗(yàn)中方法模型均在本地服務(wù)器端(RTX 2080Ti)進(jìn)行訓(xùn)練，在昇騰310上進(jìn)行部署實(shí)現(xiàn)并測試。

3.2 雨條去除的定量化指標(biāo)及可視化結(jié)果

選擇了3種經(jīng)典的圖像復(fù)原深度學(xué)習(xí)算法進(jìn)行對比，如表2所示，包括兩篇計(jì)算機(jī)視覺頂級會議CVPR (IEEE Conference on Computer Vision and Pattern Recognition)的算法，分別為2017年Fu等[13]的DDN (Detail Neural Network)去雨算法，以及2018年P(guān)an等[14]的DualCNN(Dual Convolutional Neural Networks)去雨算法，另外是由Zhang 等[15]在2016年提出的DNCNN(Denoising Convolutional Neural Network)去噪算法。評價(jià)指標(biāo)為PSNR(Peak Signal-to-Noise Ratio)、SSIM(Structural Similarity)和模型參數(shù)量。

表2 雨天退化仿真數(shù)據(jù)集上對比實(shí)驗(yàn)結(jié)果

從表2中可以看出，相比其他對比方法，在參數(shù)量最小的情況下，其PSNR和SSIM均表現(xiàn)最優(yōu)，其中DDN算法是只將圖像高頻成分送入網(wǎng)絡(luò)進(jìn)行雨條估計(jì)，可以看出效果較差，驗(yàn)證了將原始輸入與圖像高頻成分進(jìn)行級聯(lián)后，保留了圖像原始信息從而獲得更好的去雨效果，也驗(yàn)證了去雨網(wǎng)絡(luò)的優(yōu)越性。圖12為圖像去雨可視化結(jié)果對比，其中GT(Ground truth)代表清晰圖像，作為標(biāo)簽對比復(fù)原算法的性能，可以看出，所提算法取得了更優(yōu)的視覺效果。

圖12 圖像去雨可視化結(jié)果對比

3.3 雨天場景下變電站設(shè)備檢測算法對比

為了驗(yàn)證本研究聯(lián)合優(yōu)化框架的有效性，將DERN分別與YOLOv4和Faster RCNN(Faster-Region Convolutional Neural Networks)進(jìn)行組合，針對雨天場景下的變電站設(shè)備檢測問題做了以下對比實(shí)驗(yàn)，如表3和表4所示。方法1為檢測算法在晴好圖像上進(jìn)行訓(xùn)練，在雨天退化圖像上進(jìn)行測試；方法2為檢測算法直接在雨天退化圖像上進(jìn)行訓(xùn)練，在雨天退化圖像上進(jìn)行測試；方法3為檢測算法在晴朗圖像上進(jìn)行訓(xùn)練，在雨天退化測試集上先去雨再檢測；方法4為方法直接在雨天退化圖像上進(jìn)行訓(xùn)練，在雨天退化圖像上進(jìn)行測試；方法5為檢測算法在晴好圖像上進(jìn)行訓(xùn)練，在晴好圖像上進(jìn)行測試。以目標(biāo)檢測結(jié)果的準(zhǔn)確率作為評價(jià)結(jié)果，實(shí)驗(yàn)數(shù)據(jù)如表3和表4所示。

表3 雨天場景下DERN+YOLOv4不同訓(xùn)練方式檢測結(jié)果

表4 雨天場景下DERN+FasterRCNN不同訓(xùn)練方式檢測結(jié)果

從表3中可以看出，方法5為檢測模型在晴好圖像上訓(xùn)練，其在晴好圖像上測試準(zhǔn)確率高達(dá)83.5%，然而當(dāng)遇到雨天等退化圖像時(shí)，算法精度降至53.4%。進(jìn)一步，針對雨天退化天氣，方法2為檢測算法直接在雨天圖像上進(jìn)行訓(xùn)練，相比方法1，其檢測結(jié)果有較大提升，但是由于雨條形態(tài)復(fù)雜，網(wǎng)絡(luò)擬合能力有限，因此檢測性能無法達(dá)到最優(yōu)。方法3是將測試集先進(jìn)行去雨，該方法相對于直接在退化圖像上進(jìn)行測試，指標(biāo)有了進(jìn)一步的提升，然而去雨之后圖像會損失一定的細(xì)節(jié)信息，造成圖像偽影，然而檢測算法是在晴好圖像上訓(xùn)練，網(wǎng)絡(luò)在學(xué)習(xí)過程中缺乏對這些圖像偽影或者受損后的圖像進(jìn)行建模，因此當(dāng)檢測算法直接對去完雨后的圖像進(jìn)行檢測時(shí)，其檢測性能依然會受限。使用方法4將圖像去雨和檢測算法聯(lián)合優(yōu)化，得到的雨天環(huán)境穩(wěn)健的變電站設(shè)備檢測算法，去雨網(wǎng)絡(luò)不再單純以恢復(fù)視覺效果為復(fù)原目標(biāo)，同時(shí)還以促進(jìn)高層性能指標(biāo)作為指導(dǎo)約束網(wǎng)絡(luò)的訓(xùn)練，而檢測網(wǎng)絡(luò)也會在訓(xùn)練過程中對復(fù)原后圖像中的偽影或者殘留退化進(jìn)行建模學(xué)習(xí)，從而其檢測性能得到了進(jìn)一步提升，僅次于方法5中在清晰圖像上訓(xùn)練在清晰圖像上測試的效果。進(jìn)一步從表4中可以得到相同的規(guī)律，雨天場景下本文聯(lián)合優(yōu)化框架的算法性能是最接近晴天場景下方法5的性能。

進(jìn)一步將表4和表5進(jìn)行對比可以發(fā)現(xiàn)，YOLOv4相比FasterRCNN具備更加優(yōu)越的檢測性能，準(zhǔn)度度更高，在相同分辨率1080像素×1080像素的圖像上，具備更快的處理速度，因此在后續(xù)的部署中，主要針對YOLOv4進(jìn)行優(yōu)化改進(jìn)。

3.4 部署模型優(yōu)化前后的實(shí)時(shí)性對比

從推理精度和推理時(shí)間兩個方面來驗(yàn)證優(yōu)化前后硬件加速性能，結(jié)果如表5所示。

表5 硬件優(yōu)化前后性能對比

由表5可知，硬件實(shí)時(shí)加速方法通過對數(shù)據(jù)進(jìn)行預(yù)處理優(yōu)化，使得算法在硬件上的精度和PC端上的精度能夠大致持平；通過任務(wù)并行以及后處理優(yōu)化，使得算法在昇騰310平臺上的處理速度極大地提升，滿足變電站設(shè)備檢測的實(shí)時(shí)性要求。圖13為嵌入式邊緣端智能計(jì)算系統(tǒng)在雨天退化場景圖像下，對變電站設(shè)備目標(biāo)檢測的部分結(jié)果圖，從圖中可以看出，本文算法有效抑制了雨天所帶來的退化，能夠較好完成雨天場景下變電站設(shè)備檢測，提高了基于視頻監(jiān)控的變電站設(shè)備檢測系統(tǒng)的全天候工作能力。

圖13 雨天場景變電站設(shè)備檢測結(jié)果

4 結(jié)束語

針對雨天場景下的變電站設(shè)備目標(biāo)檢測問題，構(gòu)建了一個輕量高效的單幅圖像去雨網(wǎng)絡(luò)，并將該去雨網(wǎng)絡(luò)與YOLOv4目標(biāo)檢測算法聯(lián)合優(yōu)化，實(shí)現(xiàn)雨天穩(wěn)健的變電站設(shè)備檢測算法。針對變電站設(shè)備智能檢測系統(tǒng)的實(shí)時(shí)性要求，基于昇騰310處理器，構(gòu)建了邊緣端變電站設(shè)備檢測硬件系統(tǒng)，將算法進(jìn)行實(shí)時(shí)部署，針對處理器的架構(gòu)特性，分別從任務(wù)并行、算子優(yōu)化等方面進(jìn)行優(yōu)化，提高了算法在實(shí)際應(yīng)用中的精度性能與實(shí)時(shí)推理性能，提升了基于視頻監(jiān)控的變電站設(shè)備檢測系統(tǒng)的全天候工作能力。