基于音視頻多模態(tài)數(shù)據(jù)感知的智能巡檢系統(tǒng)設(shè)計(jì)與應(yīng)用

摘" 要：為彌補(bǔ)巡檢機(jī)器人和無(wú)人機(jī)在新能源發(fā)電企業(yè)中巡檢范圍有限的不足，文章設(shè)計(jì)了面向新能源發(fā)電領(lǐng)域的音視頻融合智能巡檢系統(tǒng)。在場(chǎng)站感知側(cè)，綜合應(yīng)用各類攝像機(jī)、音頻傳感器等感知設(shè)備采集風(fēng)電機(jī)組、線路、光伏、升壓站各區(qū)域的音視頻多模態(tài)數(shù)據(jù)。經(jīng)過(guò)基于深度學(xué)習(xí)的智能算法分析，數(shù)據(jù)被轉(zhuǎn)化為設(shè)備狀態(tài)識(shí)別結(jié)果。在區(qū)域中心應(yīng)用側(cè)，部署智能巡檢應(yīng)用服務(wù)，展示場(chǎng)站側(cè)設(shè)備狀態(tài)識(shí)別結(jié)果，并構(gòu)建巡檢任務(wù)管理、告警管理等智能巡檢業(yè)務(wù)功能，便于設(shè)備運(yùn)維人員操作。文章所提出的音視頻融合的感知方案，以及YOLO、ResNet、DeepLab等算法框架的集成應(yīng)用，擴(kuò)大了新能源場(chǎng)站智能巡檢點(diǎn)位的覆蓋范圍，減少了運(yùn)維人員前往現(xiàn)場(chǎng)的頻次，有助于推動(dòng)新能源無(wú)人場(chǎng)站的運(yùn)維管理模式落地。

關(guān)鍵詞：智能巡檢；邊緣計(jì)算；感知設(shè)備；多模態(tài)數(shù)據(jù)；深度學(xué)習(xí)

中圖分類號(hào)：TP273；TP391.4 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2025）03-0189-05

Design and Application of an Intelligent Inspection System Based on Audio and Video Multimodal Data Perception

LI Yang1， QIU Jianpei2， SONG Kun3

（1.Gansu Company of China Huadian Co.， Ltd.， Lanzhou" 730300， China; 2.Fujian Company of China Huadian Co.， Ltd.， Fuzhou" 350013， China; 3.Nanjing Nanzi Information Technology Co.， Ltd.， Nanjing" 210000， China）

Abstract： To compensate for the shortage of limited inspection range of inspection robots and UAVs in new energy power generation enterprises， this paper designs an audio and video fusion intelligent inspection system for the field of new energy power generation. On the station perception side， various types of cameras， audio sensors， and other perception equipment are comprehensively applied to collect audio and video multimodal data of wind turbines， power lines， photovoltaics， and booster stations in various areas. After the analysis of intelligent algorithm based on Deep Learning， the data is converted into equipment status recognition results. On the application side of the regional center， it deploys intelligent inspection application service to display the recognition results of equipment status on the station side， and builds intelligent inspection business functions such as inspection task management and alarm management， so as to facilitate the operation of equipment maintenance personnel. The perception scheme of audio and video fusion proposed in this paper， and the integrated application of algorithm frameworks such as YOLO， ResNet and DeepLab， expand the coverage of intelligent inspection points in new energy stations， reduce the frequency of personnel going to the site， and help to promote the implementation of the operation and maintenance management mode of new energy power unmanned stations.

Keywords： intelligent inspection; edge computing; perception equipment; multimodal data; Deep Learning

0" 引" 言

智能巡檢[1-2]是電力企業(yè)數(shù)智化轉(zhuǎn)型的重要領(lǐng)域。當(dāng)前，巡檢機(jī)器人[3]、無(wú)人機(jī)[4]等智能化裝備被廣泛應(yīng)用在電力設(shè)備巡檢中，提高了升壓站開(kāi)關(guān)室、風(fēng)機(jī)葉片、集電線路等特定區(qū)域的巡檢效率。然而，新能源場(chǎng)站存在大量的巡檢點(diǎn)位還難以采用機(jī)器人和無(wú)人機(jī)的巡檢方式覆蓋，如風(fēng)電機(jī)組機(jī)艙、塔筒。要實(shí)現(xiàn)新能源場(chǎng)站區(qū)域全覆蓋、低成本的智能巡檢能力，需要引入攝像機(jī)、音頻傳感器等多種類型的感知設(shè)備，構(gòu)建音視頻融合的多模態(tài)智能巡檢系統(tǒng)。

本文提出的音視頻融合智能巡檢系統(tǒng)，綜合運(yùn)用物聯(lián)網(wǎng)、人工智能、邊緣計(jì)算等技術(shù)，擴(kuò)展應(yīng)用多種類型的前端感知設(shè)備，以最大程度的滿足新能源場(chǎng)站巡檢點(diǎn)位的覆蓋范圍，實(shí)現(xiàn)智能巡檢系統(tǒng)代替人工巡檢，提高巡檢效率，節(jié)約人力成本。

1" 智能巡檢系統(tǒng)

1.1" 系統(tǒng)組成

智能巡檢系統(tǒng)采用新能源場(chǎng)站和區(qū)域中心兩級(jí)部署方式。在新能源場(chǎng)站，通過(guò)安裝可見(jiàn)光攝像機(jī)、紅外攝像機(jī)、音頻傳感器等前端感知設(shè)備，監(jiān)視并采集新能源發(fā)電相關(guān)設(shè)備的音視頻多模態(tài)數(shù)據(jù)[5]。數(shù)據(jù)經(jīng)邊緣計(jì)算一體機(jī)的智能算法進(jìn)行分析和處理，結(jié)果上送區(qū)域中心智能巡檢應(yīng)用。在區(qū)域中心，開(kāi)發(fā)智能巡檢應(yīng)用服務(wù)，B/S架構(gòu)模式，具備巡檢任務(wù)的管理、告警推送等功能，服務(wù)于區(qū)域運(yùn)維人員。新能源發(fā)電企業(yè)智能巡檢系統(tǒng)架構(gòu)如圖1所示。

在場(chǎng)站側(cè)，部署前端感知設(shè)備、邊緣計(jì)算一體機(jī)。前端感知設(shè)備主要包括可見(jiàn)光攝像機(jī)、紅外熱成像攝像機(jī)、音頻傳感器等音視頻感知終端，以及集成感知設(shè)備的巡檢機(jī)器人和無(wú)人機(jī)。邊緣計(jì)算一體機(jī)是基于GPU芯片打造的智能算力設(shè)備，集成了音視頻多模態(tài)數(shù)據(jù)采集軟件、智能識(shí)別算法。數(shù)據(jù)采集軟件的圖片數(shù)據(jù)采集功能是基于計(jì)算機(jī)視覺(jué)庫(kù)OpenCV開(kāi)發(fā)。智能識(shí)別算法是基于PyTorch深度學(xué)習(xí)框架[6]開(kāi)發(fā)的儀表讀數(shù)、開(kāi)關(guān)狀態(tài)、測(cè)溫、煙霧火焰等多種智能識(shí)別算法。音視頻數(shù)據(jù)存儲(chǔ)采用minio對(duì)象存儲(chǔ)庫(kù)保存。

在區(qū)域中心側(cè)，部署智能巡檢應(yīng)用服務(wù)軟件。軟件基于微服務(wù)框架[7]開(kāi)發(fā)，具有巡檢任務(wù)、告警中心、巡檢管理、設(shè)備管理四個(gè)應(yīng)用功能，也具備權(quán)限管理、用戶組織、流程引擎等基礎(chǔ)服務(wù)和組件，集成關(guān)系數(shù)據(jù)庫(kù)、對(duì)象存儲(chǔ)庫(kù)、中間件，用于存儲(chǔ)系統(tǒng)參數(shù)、巡檢結(jié)果、緩存等異構(gòu)數(shù)據(jù)。

1.2" 智能巡檢步驟

智能巡檢流程如圖2所示，具體步驟如下：1）配置巡檢模板建立定時(shí)巡檢任務(wù)。巡檢任務(wù)按照設(shè)定的時(shí)間規(guī)則觸發(fā)，并通過(guò)TCP遠(yuǎn)傳接口下發(fā)至邊緣一體機(jī)；2）邊緣計(jì)算一體機(jī)接收到巡檢任務(wù)，按巡檢任務(wù)中列出的預(yù)置點(diǎn)位順序讀取攝像機(jī)、音頻傳感器等前端感知的數(shù)據(jù)，采集的多模態(tài)數(shù)據(jù)經(jīng)數(shù)據(jù)預(yù)處理之后利用基于深度學(xué)習(xí)的智能識(shí)別算法分析，形成巡檢結(jié)果；3）巡檢結(jié)果數(shù)據(jù)經(jīng)TCP遠(yuǎn)傳接口上傳至區(qū)域中心的智能巡檢應(yīng)用，巡檢結(jié)果信息包括點(diǎn)位信息、結(jié)果值及附圖、巡檢時(shí)間等；4）智能巡檢應(yīng)用接收到返回的巡檢結(jié)果后，圖片、音頻等多模態(tài)結(jié)果數(shù)據(jù)保存在對(duì)象存儲(chǔ)庫(kù)中，并生成存儲(chǔ)路徑鏈接，指標(biāo)屬性信息保存在關(guān)系數(shù)據(jù)庫(kù)中，結(jié)果數(shù)據(jù)支持按時(shí)間、任務(wù)編號(hào)等多維度查詢。

2" 感知設(shè)備配置

2.1" 風(fēng)電機(jī)組巡檢感知設(shè)備

在機(jī)艙內(nèi)配置半球攝像機(jī)、槍型攝像機(jī)，主要巡檢發(fā)電機(jī)、齒輪箱、聯(lián)軸器及高速剎車盤等部件，以及機(jī)艙內(nèi)煙霧火焰、工器具遺留等安全事件。在塔筒馬鞍橋處安裝槍型攝像機(jī)，主要巡檢馬鞍橋處電纜下墜情況。在塔基配置半球攝像機(jī)，主要巡檢變流器柜/變頻柜、塔基控制柜等部件，以及煙霧火焰等安全事件。在箱變旁配置球型攝像機(jī)，主要巡檢箱變外觀及小動(dòng)物入侵等安全事件。

風(fēng)機(jī)葉片內(nèi)部安裝音頻傳感器，實(shí)時(shí)感知風(fēng)機(jī)葉片運(yùn)行狀態(tài)，及時(shí)發(fā)現(xiàn)風(fēng)機(jī)葉片內(nèi)部破損情況。針對(duì)葉片加長(zhǎng)改裝場(chǎng)景，在機(jī)艙部署凈空雷達(dá)，監(jiān)測(cè)葉片掃塔風(fēng)險(xiǎn)。

2.2" 光伏巡檢感知設(shè)備

根據(jù)新能源場(chǎng)站地形、設(shè)備布局情況，選用適合的固定機(jī)巢式、車載式、手持式等類型巡檢無(wú)人機(jī)，主要巡檢光伏板的破損、熱斑、變形等情況。在光伏區(qū)箱變旁配置球型攝像機(jī)，主要巡檢光伏箱變外觀及小動(dòng)物入侵等事件。

2.3" 集電線路巡檢感知設(shè)備

集電線路配置巡檢無(wú)人機(jī)，主要巡檢桿塔基礎(chǔ)、鐵塔桿身、導(dǎo)線/地線、絕緣子、金具及附件、避雷器等部件。

2.4" 升壓站巡檢感知設(shè)備

在升壓站的主變區(qū)域、AIS區(qū)域、GIS區(qū)域、開(kāi)關(guān)室、繼保室等區(qū)域配置雙光譜云臺(tái)攝像機(jī)、雙光譜球型攝像機(jī)、白光云臺(tái)攝像機(jī)、槍型攝像機(jī)、球型攝像機(jī)，主要巡檢站內(nèi)儀表讀數(shù)、開(kāi)關(guān)狀態(tài)、接頭溫度、設(shè)備外觀、銹蝕、掛物等內(nèi)容。

主變壓器配置音頻傳感器，實(shí)時(shí)采集本體運(yùn)行聲音，監(jiān)測(cè)內(nèi)部異常放電、風(fēng)扇運(yùn)行異常等情況。

2.5" 邊緣計(jì)算一體機(jī)

邊緣計(jì)算一體機(jī)部署在場(chǎng)站，用于音視頻多模態(tài)數(shù)據(jù)采集及推理計(jì)算。本文設(shè)計(jì)的邊緣計(jì)算一體機(jī)具有CPU+GPU算力基礎(chǔ)，除了具備復(fù)雜邏輯計(jì)算能力，還具有基于深度學(xué)習(xí)框架的推理能力，并部署了基于容器管理技術(shù)的Agent服務(wù)，接受區(qū)域側(cè)的納管。邊緣計(jì)算一體機(jī)內(nèi)部數(shù)據(jù)流向如圖3所示。

3" 智能識(shí)別算法

3.1" 基于視覺(jué)的設(shè)備狀態(tài)智能識(shí)別算法

智能識(shí)別算法基于深度學(xué)習(xí)技術(shù)，在YOLO目標(biāo)檢測(cè)[8-9]、ResNet分類[10]、DeepLab語(yǔ)義分割[11-13]等框架基礎(chǔ)上，開(kāi)發(fā)儀表讀數(shù)、開(kāi)關(guān)狀態(tài)、設(shè)備外觀、煙霧火焰等多種智能識(shí)別算法。以儀表讀數(shù)算法為例，介紹基于視覺(jué)的設(shè)備狀態(tài)智能識(shí)別算法訓(xùn)練和推理過(guò)程如圖4所示。

基于可見(jiàn)光的儀表讀數(shù)分析算法，結(jié)合目標(biāo)檢測(cè)算法和表盤關(guān)鍵點(diǎn)預(yù)測(cè)算法來(lái)實(shí)現(xiàn)儀表自動(dòng)識(shí)別讀數(shù)。算法訓(xùn)練和推理過(guò)程包括以下步驟：1）收集現(xiàn)場(chǎng)視頻數(shù)據(jù)，并建立起指針儀表目標(biāo)檢測(cè)數(shù)據(jù)集和指針儀表關(guān)鍵點(diǎn)預(yù)測(cè)數(shù)據(jù)集；2）分別進(jìn)行目標(biāo)檢測(cè)訓(xùn)練和關(guān)鍵點(diǎn)預(yù)測(cè)訓(xùn)練；3）先通過(guò)目標(biāo)檢測(cè)定位表盤，再通過(guò)關(guān)鍵點(diǎn)預(yù)測(cè)獲得刻度和指針的關(guān)鍵點(diǎn)坐標(biāo)；4）通過(guò)角度法計(jì)算讀數(shù)。

3.2" 基于聲紋的設(shè)備狀態(tài)智能識(shí)別算法

通過(guò)聲音傳感器采集設(shè)備運(yùn)行音頻信息，采用梅爾頻率倒譜系數(shù)（MFCC）特征作為設(shè)備本體聲紋信號(hào)特征，構(gòu)建MFCC-CNN識(shí)別模型[14]，訓(xùn)練MFCC-CNN網(wǎng)絡(luò)模型，實(shí)現(xiàn)設(shè)備運(yùn)行狀態(tài)的智能識(shí)別。基于聲紋的設(shè)備狀態(tài)智能識(shí)別模型訓(xùn)練和推理如圖5所示。

4" 智能巡檢應(yīng)用服務(wù)功能

智能巡檢應(yīng)用服務(wù)基于微服務(wù)開(kāi)發(fā)的B/S架構(gòu)開(kāi)發(fā)，部署在新能源區(qū)域中心云平臺(tái)，向下納管新能源場(chǎng)站各智能巡檢任務(wù)，提供面向運(yùn)維人員的可視化的應(yīng)用服務(wù)軟件。智能巡檢應(yīng)用服務(wù)功能菜單如表1所示。

其中，巡檢任務(wù)支持巡檢任務(wù)的檢索、詳情查看等功能，支持巡檢報(bào)告下載到本地。告警中心支持巡檢告警的檢測(cè)、詳情查看、告警處理等功能，提供API接口，支持告警推送至其他系統(tǒng)。巡檢管理功能支持巡檢任務(wù)的新增、編輯、刪除等功能。設(shè)備管理支持對(duì)場(chǎng)站側(cè)攝像機(jī)、邊緣計(jì)算一體機(jī)等前端感知設(shè)備的新增、編輯、刪除等功能，可以遠(yuǎn)程查看攝像機(jī)實(shí)時(shí)畫面。

5" 實(shí)踐案例

本文設(shè)計(jì)的智能巡檢系統(tǒng)試點(diǎn)部署在某區(qū)域新能源發(fā)電企業(yè)。在區(qū)域側(cè)部署智能巡檢應(yīng)用服務(wù)，在場(chǎng)站側(cè)部署邊緣計(jì)算一體機(jī)并集成智能識(shí)別算法21類，含（主變油位）儀表讀數(shù)算法、（主變呼吸器）呼吸硅膠變色、（刀閘）設(shè)備銹蝕、（引接線）設(shè)備測(cè)溫等。邊緣計(jì)算一體機(jī)硬件配置為鯤鵬920×2，Atlas 300I Pro推理卡×4，操作系統(tǒng)為銀河麒麟V10。選取1個(gè)新能源場(chǎng)站進(jìn)行智能巡檢任務(wù)測(cè)試，該場(chǎng)站具有492個(gè)視覺(jué)類智能巡檢點(diǎn)位。

按照特殊巡檢方式，區(qū)域側(cè)智能巡檢應(yīng)用下發(fā)巡檢任務(wù)，在場(chǎng)站側(cè)執(zhí)行智能巡檢任務(wù)，形成巡檢結(jié)果回傳區(qū)域側(cè)智能巡檢應(yīng)用。截取部分基于攝像機(jī)的智能巡檢結(jié)果記錄在表2中。

通過(guò)智能巡檢記錄表可以看出，基于可見(jiàn)光、紅外攝像機(jī)獲取的巡檢圖片數(shù)據(jù)，經(jīng)智能識(shí)別算法能夠被識(shí)別出來(lái)，且準(zhǔn)確度比較高，分析原因在于融合了YOLO目標(biāo)識(shí)別、ResNet分類、DeepLab分割等算法框架，不同的巡檢點(diǎn)位采用與之相適應(yīng)的底層算法框架。巡檢結(jié)果被傳送至區(qū)域側(cè)智能巡檢系統(tǒng)數(shù)據(jù)庫(kù)，通過(guò)智能巡檢應(yīng)用服務(wù)可視化頁(yè)面展示，具備智能巡檢任務(wù)查詢的功能。

6" 結(jié)" 論

智能巡檢系統(tǒng)是支撐新能源場(chǎng)站無(wú)人值守運(yùn)營(yíng)模式的重要技術(shù)手段。本文提出的多模態(tài)數(shù)據(jù)感知設(shè)備配置方案，較當(dāng)前行業(yè)普遍采用機(jī)器人、無(wú)人機(jī)巡檢方式，增加了攝像機(jī)、音頻傳感器、雷達(dá)等感知設(shè)備類型，實(shí)現(xiàn)了新能源場(chǎng)站重要區(qū)域全覆蓋。與感知設(shè)備配套的智能識(shí)別算法，是智能巡檢系統(tǒng)的技術(shù)核心，需要不斷的優(yōu)化、訓(xùn)練模型，提高模型的推理精度。當(dāng)然，現(xiàn)場(chǎng)還存在大量巡檢點(diǎn)位因成本、設(shè)備布局、技術(shù)難度等原因，無(wú)法實(shí)現(xiàn)智能化感知，如風(fēng)電機(jī)組塔筒電纜溫度、光伏板背板破損/灼燒等，需要不斷優(yōu)化新能源領(lǐng)域的智能巡檢系統(tǒng)。

參考文獻(xiàn)：

[1] 彭明智，許堯，胡永波，等.基于人工智能技術(shù)的變電站二次設(shè)備智能巡檢技術(shù) [J].高電壓技術(shù)，2023，49（S1）：90-96.

[2] 張冀，馬也，張榮華，等.數(shù)字孿生變電站框架設(shè)計(jì)與關(guān)鍵技術(shù)研究 [J].工程科學(xué)與技術(shù)，2023，55（6）：15-30.

[3] 尹勝利.基于人工智能的變電站巡檢機(jī)器人研究 [J].自動(dòng)化應(yīng)用，2024，65（15）：42-44.

[4] 王浩，閆號(hào)，葉海瑞，等.基于無(wú)人機(jī)的光伏電站智能巡檢 [J].紅外技術(shù)，2022，44（5）：537-542.

[5] 袁同慶，席鵬.基于多模態(tài)音視頻融合的質(zhì)量評(píng)價(jià)算法 [J].沈陽(yáng)工業(yè)大學(xué)學(xué)報(bào)，2022，44（3）：331-335.

[6] 阿斯頓，扎卡里，李沐，等.動(dòng)手學(xué)深度學(xué)習(xí)PyTorch版

[M].何孝霆，瑞潮兒，譯.北京：人民郵電出版社，2024：572.

[7] 辛園園，鈕俊，謝志軍，等.微服務(wù)體系結(jié)構(gòu)實(shí)現(xiàn)框架綜述[J].計(jì)算機(jī)工程與應(yīng)用，2018，54（19）：10-17.

[8] 裴傳福，崔凱，成功.基于YOLO-V2算法的翻車機(jī)摘鉤視覺(jué)識(shí)別[J].中國(guó)設(shè)備工程，2024，03（3）：161-1623.

[9] ZHANG R，XIE C，DENG L W. A Fine-Grained Object Detection Model for Aerial Images Based on YOLOv5 Deep Neural Network [J].Chinese Journal of Electronics，2023，32（1）：51-63.

[10] 郝帥，馬瑞澤，趙新生，等.基于超分辨深度殘差網(wǎng)絡(luò)的玻璃絕緣子自爆故障檢測(cè)算法 [J].高電壓技術(shù)，2022，48（5）：1817-1825.

[11] 陳廣華，葛夢(mèng)瑩，黃白瑤，等.基于雙目視覺(jué)的電力塔傾斜檢測(cè)方法 [J].北京交通大學(xué)學(xué)報(bào)，2022，46（2）：128-137.

[12] CHEN L C，PAPANDREOU G，KOKKINOS I，et al. Semantic Image Segmentation With Deep Convolutional Nets and Fully Connected CRFs [J/OL].arXiv：1412.7062 [cs.CV].（2014-12-22）.https：//arxiv.org/abs/1412.7062.

[13] CHEN L C，PAPANDREOU G，KOKKINOS I，et al. DeepLab： Semantic Image Segmentation With Deep Convolutional Nets， Atrous Convolution， And fully Connected CRFs [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2018，40（4）：834-848.

[14] 齊子豪，仝杰，張中浩，等.基于多粒度知識(shí)特征和Transformer網(wǎng)絡(luò)的電力變壓器故障聲紋辨識(shí)方法 [J/OL].中國(guó)電機(jī)工程學(xué)報(bào)，2023：1-13[2024-08-20].http：//kns.cnki.net/kcms/detail/11.2107.TM.20231204.1422.004.html.

作者簡(jiǎn)介：李陽(yáng)（1989—），男，漢族，內(nèi)蒙古包頭人，工程師，本科，研究方向：電氣工程、智能巡檢、電力信息化；丘建培（1992—），男，漢族，福建龍巖人，工程師，本科，研究方向：自動(dòng)化、通信網(wǎng)絡(luò)技術(shù)；宋坤（1983—），男，漢族，山東淄博人，高級(jí)工程師，碩士研究生，研究方向：電力信息化、大數(shù)據(jù)、人工智能。