基于MGAN環(huán)路濾波視頻編碼技術(shù)的監(jiān)控系統(tǒng)設(shè)計(jì)

摘 要：為提高變電站環(huán)境監(jiān)測(cè)運(yùn)行效率，提出一種改進(jìn)的對(duì)抗神經(jīng)網(wǎng)絡(luò)環(huán)路濾波視頻編碼技術(shù)的環(huán)境監(jiān)控系統(tǒng)。首先，根據(jù)系統(tǒng)功能性和非功能性需求，將系統(tǒng)分為視頻采集層、邊緣計(jì)算層、云平臺(tái)層3大模塊，并進(jìn)行了詳細(xì)設(shè)計(jì)；然后，基于生成對(duì)抗神經(jīng)網(wǎng)絡(luò)（GAN），重點(diǎn)設(shè)計(jì)了邊緣計(jì)算層視頻編碼技術(shù)，提出一種多層次的GAN（記為MGAN）環(huán)路濾波視頻編碼技術(shù)；對(duì)系統(tǒng)功能和非功能進(jìn)行了測(cè)試。結(jié)果表明，系統(tǒng)可實(shí)現(xiàn)實(shí)時(shí)監(jiān)控、多路監(jiān)控、智能保存和視頻編碼功能，滿足安全性、穩(wěn)定性、可靠性非功能需求，所設(shè)計(jì)的基于MGAN的環(huán)路濾波視頻編碼技術(shù)能有效提高視頻編碼質(zhì)量，進(jìn)一步提高變電站視頻及環(huán)境監(jiān)控系統(tǒng)的運(yùn)行效率，具有一定的實(shí)際應(yīng)用價(jià)值。

關(guān)鍵詞：變電站視頻監(jiān)控；生成對(duì)抗神經(jīng)網(wǎng)絡(luò)；視頻編碼；環(huán)路濾波

中圖分類號(hào)：TP311"""""""""""""""""""""""""""" 文獻(xiàn)標(biāo)識(shí)碼：A""""""""""""""""""""""""""""" 文章編號(hào)：1001-5922（2024）07-0147-05

Design of monitoring system based on MGAN loop filtering video coding technology

ZUO Lei1，LU Yang1，SONG Yang1，LI Chengzhi2，ZHAO Jinmin2

（1. National Energy Changyuan Wuhan Qingshan Thermal Power Co.，Ltd.，Wuhan 430082，China；

2. Beijing Bike Technology Co.，Ltd.，Beijing 100095，China）

Abstract： In order to improve the operational efficiency of substation video monitoring， an improved environmental monitoring system based on adversarial neural network loop filtering video coding technology was proposed." First， according to the functional and non functional requirements of the system， the system was divided into three modules： video capture layer， edge computing layer， and cloud platform layer， and detailed design was carried out. Then， based on the Generic Adversary Nets （GAN）， the edge computing layer video coding technology was emphatically designed， and a multi?level GAN （MGAN） loop filtering video coding technology was proposed. Finally， the functional and non functional tests of the system were conducted. The results showed that the system could achieve real?time monitoring， multi?channel monitoring， intelligent storage， and video coding functions， meeting the non functional requirements of security， stability， and reliability. The MGAN?based loop filter video coding technology designed can effectively improve the quality of video coding， further improving the operational efficiency of substation video and environmental monitoring systems， and has certain practical application value.

Key words： substation video monitoring；generating an adversarial neural network；video coding；loop filter

近年來(lái)，隨著人工智能技術(shù)在電網(wǎng)中的應(yīng)用，變電站視頻及環(huán)境監(jiān)控系統(tǒng)逐步完善，有效減少了人工成本的投入，進(jìn)一步確保了變電站安全，如基于變電站監(jiān)控系統(tǒng)，提出一種長(zhǎng)短期記憶循環(huán)神經(jīng)網(wǎng)絡(luò)的變電站智能故障診斷方法，實(shí)現(xiàn)了變電站故障區(qū)域的快速定位與故障沖擊傳播途徑，有效提高了變電站的運(yùn)行安全［1］；為保證變電站監(jiān)控系統(tǒng)采集正確負(fù)荷信息，利用極限學(xué)習(xí)機(jī)方法辨識(shí)負(fù)荷異常信息，通過(guò)對(duì)變電站監(jiān)控系統(tǒng)歷史數(shù)據(jù)分析，結(jié)合主站調(diào)度端時(shí)序數(shù)據(jù)，實(shí)現(xiàn)了變電站監(jiān)控負(fù)荷信息的辨識(shí)，有利于變電站監(jiān)控系統(tǒng)實(shí)施爭(zhēng)取的調(diào)度命令，確保了變電站運(yùn)行安全［2］；針對(duì)智能變電站軟巡視困難的問(wèn)題，充分利用一體化監(jiān)控系統(tǒng)采集信息流的優(yōu)勢(shì)，提出了一、二次系統(tǒng)狀態(tài)對(duì)應(yīng)關(guān)系監(jiān)測(cè)的智能巡檢技術(shù)，為變電站運(yùn)維人員提供了日常運(yùn)維、異常處理等輔助決策手段［3］。然而就目前變電站監(jiān)控系統(tǒng)而言，由于在監(jiān)控視頻傳輸過(guò)程中通常需要對(duì)視頻圖像進(jìn)行壓縮傳輸，容易降低視頻監(jiān)控的運(yùn)行效率，導(dǎo)致基于監(jiān)控視頻的變電站故障診斷或巡檢效率較低。為解決該問(wèn)題，提出一種基于MGAN環(huán)路濾波視頻編碼技術(shù)。

1"" 系統(tǒng)整體框架

根據(jù)變電站視頻及環(huán)境監(jiān)控系統(tǒng)應(yīng)滿足實(shí)時(shí)監(jiān)控、多路監(jiān)控、智能保存、視頻編碼功能性應(yīng)用需求，并結(jié)合其應(yīng)具備安全性、穩(wěn)定性、可靠性等非功能性需求，提出基于MGAN環(huán)路濾波視頻編碼，設(shè)計(jì)一個(gè)變電站視頻及環(huán)境監(jiān)控系統(tǒng)，系統(tǒng)整體結(jié)構(gòu)如圖1所示。

由圖1可知，系統(tǒng)主要由3個(gè)部分組成，分別為視頻采集層、邊緣計(jì)算層和云平臺(tái)層［4］。視頻采集層主要負(fù)責(zé)監(jiān)控視頻的采集與傳輸，是整個(gè)系統(tǒng)的基礎(chǔ)層。邊緣計(jì)算層是云平臺(tái)層和視頻采集層的中間層，主要負(fù)責(zé)對(duì)視頻初步處理和中轉(zhuǎn)，提供視頻接收、視頻發(fā)送、視頻監(jiān)控、視頻編碼、視頻處理、視頻保存等服務(wù)［5］。云平臺(tái)層部署于云服務(wù)器上，主要實(shí)現(xiàn)遠(yuǎn)距離的云監(jiān)控，并提供視頻接收、視頻編碼、視頻保存和Web服務(wù)功能。

2"" 系統(tǒng)設(shè)計(jì)

2.1"" 視頻采集層設(shè)計(jì)

視頻采集層包括視頻采集和視頻傳輸2個(gè)模塊。該模塊主要通過(guò)V4L2編程框架進(jìn)行構(gòu)建。此框架可進(jìn)行攝像頭頻率、頻數(shù)等參數(shù)設(shè)置，可通過(guò)回調(diào)函數(shù)發(fā)現(xiàn)和操作攝像頭。基于V4L2編程框架的視頻采集流程如圖2所示［6］。

2.2"" 邊緣計(jì)算層設(shè)計(jì)

2.2.1"" 視頻編碼模型設(shè)計(jì)

GAN模型是一種基于對(duì)抗學(xué)習(xí)的深度學(xué)習(xí)模型，由一個(gè)生成器和一個(gè)判別器構(gòu)成，通過(guò)不斷進(jìn)行對(duì)抗學(xué)習(xí)，可滿足修復(fù)圖像的需求。因此，本系統(tǒng)利用GAN提高視頻編碼性能［8］。

考慮到GAN的容量有限且無(wú)法完全捕獲單個(gè)圖像，導(dǎo)致生成的圖像容易丟失細(xì)節(jié)信息。因此，為使生成的圖像在細(xì)節(jié)方面更接近原始圖像，本系統(tǒng)設(shè)計(jì)了一個(gè)多層次GAN（MGAN）模型進(jìn)行視頻編碼［9］。

采用MGAN模型替代VVC環(huán)路濾波中高功耗ALF模塊，可有效提高重建幀的視覺質(zhì)量，進(jìn)而提升視頻編碼效率。首先，將原始視頻圖像與VVC（Versatile Video Coding）編碼后的有損圖像進(jìn)行對(duì)應(yīng)并組成圖像對(duì)，然后進(jìn)行下采樣處理，并分別將下采樣后的圖像輸入每層GAN生成器和判別器，利用其像素差訓(xùn)練GAN模型，即可將VVC編碼后丟失的圖像細(xì)節(jié)添加到視頻幀中，使生成的圖像更接近原始圖像。最后，為獲取更多圖像細(xì)節(jié)信息，在MGAN每層生成器中添加一個(gè)馬爾科夫鏈鑒別器，用于保全精細(xì)紋理［10］。

2.2.2"" 模型訓(xùn)練

MGAN模型的訓(xùn)練方式為逐層訓(xùn)練，其訓(xùn)練損失主要分為對(duì)抗損失和重建損失。對(duì)抗損失即為生成器的生成樣本與原始樣本間的差值，包括生成器產(chǎn)生的損失和判別器產(chǎn)生的損失，表示為式（1）、式（2）；重建損失來(lái)自生成樣本和輸入圖像的差值，采用均方誤差進(jìn)行表示。為降低訓(xùn)練過(guò)程中的對(duì)抗損失，模型采用生成器和判別器交替訓(xùn)練的方式進(jìn)行訓(xùn)練［11?12］。

[LG=Ex-Px-log（1-D（G（z）））]"""""""""""" （1）

[LD=Ex-Pdata- log（x）+]

[Ex-PZ-log（1-D（G（z）））]""""""""""""""" （2）

式中：[E（*）]為分布函數(shù)期望值；[Pdata]和[PZ]分別表示真實(shí)樣本分布和低維噪聲分布。

為解決MGAN模型訓(xùn)練時(shí)產(chǎn)生的梯度消失問(wèn)題，提出將生成器與馬爾科夫判別器進(jìn)行耦合處理，并采用WGAN-GP訓(xùn)練模式對(duì)模型進(jìn)行訓(xùn)練［13］。

最后，為控制生成圖像的大小，采用固定圖像下采樣的比例對(duì)樣本的變化量進(jìn)行控制。

2.2.3"" 模型在VVC中的集成

將MGAN模型集成在VVC中，具體如圖3所示，可得到基于MGAN模型環(huán)路濾波技術(shù)的視頻編碼方法。利用MGAN模型環(huán)路濾波技術(shù)在進(jìn)行視頻編碼時(shí)，首先將視頻序列分割成多個(gè)小圖像組，設(shè)置每個(gè)小圖像組的參考幀為關(guān)鍵幀，關(guān)鍵幀集合構(gòu)成關(guān)鍵幀組。然后導(dǎo)出樣本自適應(yīng)偏移（SAO）濾波后的視頻流文件和原始視頻文件關(guān)鍵幀組作為模型的訓(xùn)練輸入。最后，根據(jù)VVC中編碼樹單元大小128×128，設(shè)置模型輸入圖像為256×256，即實(shí)現(xiàn)了MGAN模型在VVC中的集成。

考慮到視頻編碼壓縮過(guò)程中存在未變化的編碼樹單元，無(wú)需進(jìn)行濾波處理。由此提出在進(jìn)行MGAN模型集成前加入一個(gè)開關(guān)標(biāo)志，當(dāng)輸入數(shù)據(jù)達(dá)到此開關(guān)標(biāo)志時(shí)，模型將進(jìn)行MGAN編碼自動(dòng)跳過(guò)［14］。

2.3"" 云平臺(tái)層設(shè)計(jì)

云平臺(tái)層的作用是實(shí)現(xiàn)視頻接收保存和Web服務(wù)，本研究重點(diǎn)對(duì)視頻接收模塊進(jìn)行設(shè)計(jì)，其具體流程如圖4所示。

該模塊首先需建立一個(gè)流式套接字；然后將其與服務(wù)器進(jìn)行連接，進(jìn)行視頻數(shù)據(jù)收發(fā)；數(shù)據(jù)發(fā)送時(shí)可進(jìn)

行套接字監(jiān)聽，接收數(shù)據(jù)后關(guān)閉套接字，即實(shí)現(xiàn)了視頻接受。

3"" 系統(tǒng)測(cè)試

3.1"" 系統(tǒng)測(cè)試平臺(tái)與工具

本次系統(tǒng)視頻采集層測(cè)試基于Linux系統(tǒng)的3代B型樹莓派平臺(tái)運(yùn)行，搭載ARM Cortex-A53 1.2 GHz 64 bit quad-core ARMv8四核中央處理器。采集設(shè)備為USB接口的高清攝像頭。邊緣計(jì)算層基于Ubuntu16.04操作系統(tǒng)的Intel? NUC迷你電腦平臺(tái)運(yùn)行，搭載I5 6260U處理器，8 GB運(yùn)行內(nèi)存。云平臺(tái)層采用Ubuntu16.04操作系統(tǒng)的PC機(jī)進(jìn)行實(shí)現(xiàn)，其配置了Intel（R） Core （TM） i7-9700K型號(hào)的 CPU和GeForce GTX 2080 super 型號(hào)的GPU。其中，CPU顯存大小為 3.60 GHz，內(nèi)存大小為32 GB RAM。

進(jìn)行系統(tǒng)測(cè)試時(shí)，采用本地網(wǎng)絡(luò)將視頻采集層與邊緣計(jì)算層進(jìn)行連接和數(shù)據(jù)訪問(wèn)，二者均部署于同一局域網(wǎng)中；邊緣計(jì)算層與云平臺(tái)層通過(guò)廣域網(wǎng)連接。

3.2"" 系統(tǒng)功能測(cè)試

3.2.1"" 測(cè)試條件

為測(cè)試本系統(tǒng)的視頻編碼功能，實(shí)驗(yàn)將MGAN環(huán)路濾波方法集成到VTM-5.0中，使用22和37兩個(gè)經(jīng)典的QP值進(jìn)行測(cè)試。測(cè)試視頻數(shù)據(jù)集為VVC官方測(cè)試序列中類型 A～C視頻序列的前100幀視頻數(shù)據(jù)。測(cè)試序列及相關(guān)參數(shù)如表1所示。

3.2.2"" 評(píng)價(jià)指標(biāo)

本次測(cè)試選用BD-BR和BD-PSNR雙指標(biāo)評(píng)估MGAN模型相較于常用視頻編碼模型ARCNN和DBPN模型的視頻編碼質(zhì)量。其中，BD-BR是衡量不同算法碼率節(jié)省情況的指標(biāo)，反映了不同算法在碼率上的變化情況；BD-PSNR是衡量同等碼率下，不同算法PSNR差異的指標(biāo)。

3.3"" 結(jié)果與分析

表2為MGAN模型與對(duì)比模型在環(huán)路濾波中的RD性能對(duì)比結(jié)果。

由表2可知，基于MGAN的環(huán)路濾波方法BD-BR平均降低了7.94%，并取得了0.31 dB的BD-PSNR增益；基于DBPN模型的環(huán)路濾波方法BD-BR平均降低了2.76%，取得了0.08 dB的BD-PSNR增益；基于ARCNN模型的環(huán)路濾波方法BD-BR平均降低了4.41%，取得了0.25 dB的BD-PSNR增益。由此說(shuō)明，相較于基于DBPN模型和基于ARCNN模型的環(huán)路濾波方法，基于MGAN的環(huán)路濾波方法提高了視頻編碼的質(zhì)量，降低了視頻編碼后的比特率，在測(cè)試序列上取得了更優(yōu)異的結(jié)果。

表3為不同方法的平均編碼時(shí)間對(duì)比結(jié)果。

視頻編碼的復(fù)雜度為衡量方法是否具有實(shí)際應(yīng)用價(jià)值的重要指標(biāo)。為驗(yàn)證基于MGAN模型的環(huán)路濾波方法具有一定的實(shí)際應(yīng)用價(jià)值，分析了與DBPN模型和ARCNN模型的視頻編碼復(fù)雜度。復(fù)雜度的計(jì)算方法如式（3）：

[?T=T-T0T0]"""""""""""""""""""""""""""" （3）

式中：[T]表示模型的編碼時(shí)間；[T0]為VVC編解碼時(shí)間，即編碼標(biāo)準(zhǔn)時(shí)間。

由表3可知，基于MGAN模型的環(huán)路濾波方法編碼復(fù)雜度是編碼標(biāo)準(zhǔn)平均的100.3%，對(duì)比模型DBPN模型和ARCNN模型的編碼復(fù)雜度是編碼標(biāo)準(zhǔn)平均的104.6%和100.4%。由此可見，基于MGAN模型的環(huán)路濾波方法編碼復(fù)雜度略高于基于ARCNN模型的編碼復(fù)雜度，略低于基于DBPN模型的編碼復(fù)雜度。整體來(lái)看，MGAN模型的環(huán)路濾波方法編碼復(fù)雜度在可接受范圍內(nèi)，具有一定的實(shí)際應(yīng)用價(jià)值。

4""" 結(jié)語(yǔ)

所設(shè)計(jì)的基于MGAN環(huán)路濾波的變電站視頻及環(huán)境監(jiān)控系統(tǒng)具備可行性和有效性，此系統(tǒng)采用多層次結(jié)構(gòu)的GAN環(huán)路濾波進(jìn)行編碼處理，能夠顯著提升視頻編碼質(zhì)量，降低了視頻編碼后的比特率，實(shí)現(xiàn)了高質(zhì)量的視頻編碼，且復(fù)雜度較低，具有一定的實(shí)際應(yīng)用價(jià)值。整個(gè)系統(tǒng)功能模塊完善，滿足系統(tǒng)功能性需求和非功能性需求，具有一定的安全性、可靠性和穩(wěn)定性。

【參考文獻(xiàn)】

［1］""" 付豪，鄒花蕾，張騰飛.基于長(zhǎng)短期記憶循環(huán)神經(jīng)網(wǎng)絡(luò)的變電站監(jiān)控系統(tǒng)智能故障推理方法［J］.綜合智慧能源，2022，44（12）：11?17.

［2］""" 李一鵬，王亞軍，栗維勛，等.基于極限學(xué)習(xí)機(jī)的變電站監(jiān)控系統(tǒng)負(fù)荷異常信息的辨識(shí)方法［J］.電子器件，"""""" 2022，45（5）：1219?1224.

［3］""" 錢建國(guó)，張超，馬偉，等.基于多維映射矩陣的變電站監(jiān)控系統(tǒng)智能巡檢技術(shù)［J］.浙江電力，2022，41（1）：118?124.

［4］"""" 韓柳，吳聰穎，肖智宏.新型數(shù)字智能變電站監(jiān)控及巡視系統(tǒng)應(yīng)用研究［J］.現(xiàn)代電子技術(shù)，2023，46（3）：156?160.

［5］"""" 蘆嘉誠(chéng)，張立輝.基于LabVIEW的變電站監(jiān)控系統(tǒng)的" 設(shè)計(jì)［J］.信息技術(shù)與信息化，2023（1）：203?206.

［6］"""" 戴洋.淺析智能變電站監(jiān)控系統(tǒng)網(wǎng)絡(luò)安全滲透技術(shù)［J］.網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2023（1）：91?93.

［7］""" 張嵐，劉濤，李鵬，等. 基于數(shù)據(jù)挖掘的計(jì)量參數(shù)異常4步優(yōu)化識(shí)別技術(shù)［J］. 粘接， 2024， 51 （5）： 145?148.

［8］"""" 劉皓軒，林珊玲，林志賢，等.基于GAN的輕量級(jí)水下圖像增強(qiáng)網(wǎng)絡(luò)［J］.液晶與顯示，2023，38（3）：378?386.

［9］""" 熊澤昊，李杰，牛軼峰.生成對(duì)抗網(wǎng)絡(luò)及其在無(wú)人系統(tǒng)中的應(yīng)用［J］.無(wú)人系統(tǒng)技術(shù)，2023，6（1）：1?13.

［10］" 朱曉慧，錢麗萍，傅偉.基于GAN的網(wǎng)絡(luò)安全數(shù)據(jù)增強(qiáng)研究綜述與展望［J］.計(jì)算機(jī)應(yīng)用與軟件，2022，39（11）：288?296.

［11］"" 張彬，周粵川，張敏，等.生成對(duì)抗網(wǎng)絡(luò)改進(jìn)角度與應(yīng)用研究綜述［J］.計(jì)算機(jī)應(yīng)用研究，2023，40（3）：649?658.

［12］" 高飛，余曉玫.一種Enlighten-GAN網(wǎng)絡(luò)的指紋超分辨率重建方法［J］.激光與紅外，2022，52（10）：1577?1584.

［13］"" 薛昊天，王晨.基于GAN的僵尸網(wǎng)絡(luò)流量檢測(cè)研究［J］.電子設(shè)計(jì)工程，2022，30（17）：146?149.

［14］" 李振文，徐彪，劉力，等.基于“三層兩網(wǎng)”結(jié)構(gòu)的智能"""" 變電站監(jiān)控信息分步驗(yàn)收方法［J］.湖南電力，2021，""""" 41（6）：58?63.

［15］"" 雍明月，朱勇，汪奇，等.智能變電站監(jiān)控信息模塊化""" 驗(yàn)收技術(shù)研究與實(shí)現(xiàn)［J］.長(zhǎng)江信息通信，2021，34（10）：" 76?81.