變電站多尺度異常入侵目標輕量化檢測方法

摘 要：智能電網(wǎng)的建設(shè)思路決定了遠郊變電站異常入侵監(jiān)測的無人化趨勢，促進了變電站異常入侵智能檢測方法的快速發(fā)展?，F(xiàn)階段尚未擁有該場景下異常入侵目標數(shù)據(jù)集，且現(xiàn)有的目標檢測方法也未針對變電站邊緣計算端進行輕量化優(yōu)化設(shè)計，不適用于需要全天候?qū)崟r監(jiān)測的變電站邊緣設(shè)備。針對上述問題，從實際應(yīng)用需求出發(fā)，構(gòu)建變電站異常入侵目標數(shù)據(jù)集（Ｄａｔａｓｅｔ ｆｏｒ Ａｎｏｍａｌｙ Ｉｎｖａｓｉｏｎ Ｔａｒｇｅｔｓ ｉｎ Ｓｕｂｓｔａｔｉｏｎｓ，ＳＡＩＴＤ），基于ＹＯＬＯｖ５ｓ 模型提出適用于變電站邊緣檢測設(shè)備的輕量化異常入侵目標檢測網(wǎng)絡(luò)ＹＯＬＯｖ５-Ｓｕｂｓｔａｔｉｏｎ。添加微小尺度目標特征提取層與上采樣輕量化算子ＣＡＲＡＦＥ，在擴大感受野的同時，充分保留特征圖中多尺度目標的語義信息，從架構(gòu)端提高原有模型的檢測精度。基于知識蒸餾模型，使用網(wǎng)絡(luò)剪枝（Ｎｅｔｗｏｒｋ-ｓｌｉｍｍｉｎｇ） 策略對原有模型進行輕量化改進，在保證原模型檢測精度的同時，加速模型推理。仿真實驗表明，輕量化后的邊緣端計算模型精度相較于ＹＯＬＯｖ５ｓ 提高了３． ３％ ，推理速度提升了４１． ９％ ，可為智能電網(wǎng)的全速運行提供強有力的數(shù)據(jù)基礎(chǔ)、技術(shù)支撐與安全保障。

關(guān)鍵詞：異常入侵目標檢測；網(wǎng)絡(luò)剪枝；知識蒸餾；邊緣計算平臺；輕量化模型

中圖分類號：ＴＰ３９１． ４ 文獻標志碼：Ａ 開放科學(xué)（資源服務(wù)）標識碼（ＯＳＩＤ）：

文章編號：１００３－３１０６（２０２４）０６－１５８４－１１

０ 引言

我國“十四五”規(guī)劃明確提出建設(shè)智能電網(wǎng)［１］，無人值守變電站在構(gòu)建智能電網(wǎng)中起到了至關(guān)重要的作用。無人值守變電站多建于距離城市較遠的野外環(huán)境中，因此常有各類動物入侵變電站導(dǎo)致變電站設(shè)備嚴重故障甚至發(fā)生火災(zāi)，極大地影響了社會穩(wěn)定和經(jīng)濟發(fā)展。伴隨視覺監(jiān)控系統(tǒng)的廣泛應(yīng)用，利用變電站內(nèi)安裝的攝像頭，加載異常入侵目標檢測算法，對其進行全天候智能化監(jiān)測是大勢所趨［２］。然而，目前尚未擁有針對變電站場景下的完整異常入侵目標數(shù)據(jù)庫，且現(xiàn)使用的目標檢測算法模型也未針對此場景進行輕量化改進設(shè)計，并不適合部署在對檢測速度要求極高的變電站邊緣檢測設(shè)備上。

現(xiàn)階段的異常入侵目標檢測方法可分為傳統(tǒng)檢測方法與基于深度學(xué)習(xí)的異常入侵目標檢測方法。傳統(tǒng)的異常入侵目標檢測方法一般采用背景模板與圖像對比來進行異常目標檢測。Ｓｔａｕｆｆｅｒ 等［３］提出了高斯混合模型來檢測前景目標，但高斯分布并不能充分的概括表達背景特征，限制了該算法的使用場景和檢測精度。Ｌｉｎ 等［４］提出了一種基于特征匹配的局部運動穩(wěn)定算法減少檢測前景中由樹木和花草引起的誤報，但本質(zhì)上仍然依賴于手工設(shè)計的特征，在復(fù)雜環(huán)境下依然會存在較多誤檢。傳統(tǒng)檢測方法計算復(fù)雜度通常較低，檢測速度較快，無需大量先驗信息和監(jiān)督，但易受光影變化、風(fēng)吹草動等環(huán)境噪聲的干擾。遂開始研究基于深度學(xué)習(xí)的異常入侵目標檢測方法。Ｌｉｍ 等［５］提出了一種基于多尺度編解碼網(wǎng)絡(luò)的ＦｇＳｅｇＮｅｔ 模型，但這種方法時常漏檢較小尺寸的異常入侵目標。Ｂｒａｈａｍ 等［６］提出了一種基于背景補丁的訓(xùn)練方式，可以在同一段訓(xùn)練視頻數(shù)據(jù)中獲得良好的檢測效果，但由于數(shù)據(jù)高度冗余計算量過大，無法實時檢測異常入侵目標。以上提及的基于機器學(xué)習(xí)的異常入侵目標檢測方法和基于深度學(xué)習(xí)的檢測方法，在變電站這一特殊場景下均無法較好地兼顧模型輕量化與檢測準確率。

目前常見的異常入侵目標檢測與識別技術(shù)都集中在主機平臺上，伴隨著移動互聯(lián)網(wǎng)的崛起和邊緣計算的發(fā)展，許多研究者結(jié)合邊緣計算，開始研究移動設(shè)備上的目標檢測技術(shù)。Ｃｈｅｎ 等［７］ 開發(fā)了Ｇｌｉｍｐｓｅ 系統(tǒng)通過卸載部分計算任務(wù)在手機上執(zhí)行目標檢測任務(wù)。Ｌｉｕ 等［８］等在邊緣計算協(xié)助下為增強現(xiàn)實系統(tǒng)設(shè)計了目標檢測系統(tǒng)。Ｒｅｎ 等［９］提出了一種分布式的邊緣計算場景下的目標檢測解決方案。由于在移動設(shè)備執(zhí)行高性能目標檢測算法有著極為廣闊的發(fā)展前景，大量研究者投身于此。但是這些研究很少能在工業(yè)場景下實現(xiàn)落地，并且在變電站場景下的相關(guān)應(yīng)用更是稀缺，基本沒有利用邊緣計算平臺針對此應(yīng)用場景開展異常入侵目標檢測與識別研究，因此這個領(lǐng)域整體仍處于研究的早期階段。

現(xiàn)有的異常入侵目標數(shù)據(jù)集，大部分是針對公路、鐵路或軌道等場景建立異常入侵目標數(shù)據(jù)集，例如王瑞等［１０］針對鐵路周界異常入侵目標泥石流、落石等進行研究。郭保青等［１１］細化鐵路異常入侵目標分類，針對鐵路內(nèi)部的行人進行研究。何文玉等［１２］將研究重心放在軌道上的異常入侵目標，如塑料瓶、行人、自行車和汽車等。然而，通過實地考察，可能會對變電站產(chǎn)生安全隱患的異常入侵目標主要是尺寸相差較大的鳥、貓、狗、人、蛇、鼠和松鼠等。不同的應(yīng)用場景、不同異常入侵目標類別與不同于常見數(shù)據(jù)集的目標尺度均無法對變電站場景下的異常入侵目標檢測提供助力。

針對上述問題，本文以ＹＯＬＯｖ５ｓ 模型為基礎(chǔ)，首先引入微小尺度目標特征提取層與上采樣輕量化算子ＣＡＲＡＦＥ，充分利用特征圖中多尺度目標的語義信息，從架構(gòu)端提高原有模型的檢測精度；其次，使用網(wǎng)絡(luò)剪枝（Ｎｅｔｗｏｒｋｓｌｉｍｍｉｎｇ）策略和知識蒸餾對原有模型進行輕量化改進，在保證原模型檢測精度的同時加速模型推理，滿足變電站場景下異常入侵目標實時檢測需求。

１ 基于ＹＯＬＯｖ５ｓ 改進的多尺度異常入侵目標輕量化檢測方法

ＹＯＬＯｖ５ 目標檢測模型由于較高的檢測精度和強大的泛化能力，備受工業(yè)界青睞。根據(jù)應(yīng)用場景和應(yīng)用需求的不同，ＹＯＬＯｖ５ 共有５ 種不同大小的網(wǎng)絡(luò)模型供以選擇，從小到大分別是ＹＯＬＯｖ５ｎ、ＹＯＬＯｖ５ｓ、ＹＯＬＯｖ５ｍ、ＹＯＬＯｖ５Ｌ、ＹＯＬＯｖ５ＸＬ。每個版本的模型結(jié)構(gòu)均一致，唯一區(qū)別在于網(wǎng)絡(luò)的深度和寬度不盡相同。鑒于ＹＯＬＯｖ５ｓ 在模型檢測性能和模型計算量兩方面較為均衡，本文選擇ＹＯＬＯｖ５ｓ作為應(yīng)用于變電站場景下實時檢測的基礎(chǔ)模型。在此基礎(chǔ)上不斷優(yōu)化改進，獲得輕量化的網(wǎng)絡(luò)模型，便于部署在邊緣計算平臺上進行實時快速準確檢測。

多尺度異常入侵目標輕量化檢測方法框架如圖１ 所示。首先，在模型頸部添加１６０ ｐｉｘｅｌ ×１６０ ｐｉｘｅｌ 的特征提取層，增加的檢測頭用于檢測微小尺度異常入侵目標，再結(jié)合ＹＯＬＯｖ５ｓ 原有大、中、?。?種尺度檢測頭，實現(xiàn)多尺度異常入侵目標檢測；其次，引入ＣＡＲＡＦＥ 上采樣輕量化算子替換ＹＯＬＯｖ５ｓ中原有的最近鄰上采樣，在不引入過多參數(shù)量前提下，擴大感受野，充分利用多尺度特征圖中原本被忽略的豐富語義信息；最后，使用Ｎｅｔｗｏｒｋ-ｓｌｉｍｍｉｎｇ 方法與知識蒸餾對改進后的網(wǎng)絡(luò)模型進行剪枝壓縮和蒸餾，對于多尺度異常入侵目標，在保證了較高檢測精度的同時有效地降低了網(wǎng)絡(luò)參數(shù)量和計算量。

１． １ 多尺度特征提取層

ＹＯＬＯｖ５ｓ 網(wǎng)絡(luò)模型檢測頭部分本身涵蓋３ 個不同尺度的目標檢測頭。假設(shè)圖片輸入尺寸為６４０ ｐｉｘｅｌ×６４０ ｐｉｘｅｌ，則頸部提取出的淺層特征圖尺寸為８０ ｐｉｘｅｌ×８０ ｐｉｘｅｌ，其包含比較多的淺層級信息，適用于檢測小目標；尺寸為２０ ｐｉｘｅｌ×２０ ｐｉｘｅｌ 的深層特征圖，容納了更豐富的深層次信息，例如環(huán)境信息、外貌特征等，適用于檢測大目標；而尺寸介于二者之間的４０ ｐｉｘｅｌ×４０ ｐｉｘｅｌ 特征圖，則適合用于檢測中等大小的目標。由于變電站實際場景中常出現(xiàn)尺寸差異較大的異常入侵目標，而目前已有的目標檢測方法時常漏檢較小尺寸的目標。因此，修改網(wǎng)絡(luò)中的特征提取層，在網(wǎng)絡(luò)模型的頸部連續(xù)３ 次下采樣，使得底層特征圖放大至１６０ ｐｉｘｅｌ×１６０ ｐｉｘｅｌ，含有更多且更豐富的底層特征信息。在添加小尺度特征提取層的同時，也在檢測頭部分添加對應(yīng)小尺寸檢測頭，如圖２ 所示。

新添加的小尺寸檢測頭對于微小目標會更加敏感，需重新分配錨框來解決小尺度目標漏檢問題。ＹＯＬＯｖ５ｓ 初始錨框大小的設(shè)置是基于ＭＳ ＣＯＣＯ 數(shù)據(jù)集目標尺寸預(yù)設(shè)。在訓(xùn)練時，模型會基于初始錨框輸出預(yù)測框數(shù)值，再將其與真實框數(shù)值相減后，反向更新，以此不停迭代網(wǎng)絡(luò)參數(shù)。由于變電站異常入侵目標與ＣＯＣＯ 數(shù)據(jù)集目標尺寸差異較大，本算法將關(guān)閉ＹＯＬＯｖ５ｓ 的自動計算錨框功能，采用Ｋ 均值（Ｋ-ｍｅａｎｓ）聚類方法重新獲取更加適配于變電站異常入侵目標尺寸的錨框，使改進后的網(wǎng)絡(luò)模型對于不同尺度的異常入侵目標檢測效果更佳。錨框大小分配如表１ 所示。

１． ２ 輕量化上采樣算子ＣＡＲＡＦＥ

ＹＯＬＯｖ５ｓ 采用最直接的上采樣方法———最近鄰插值，也稱為零階插值，其核心思想是使得圖像變換后，某像素的灰度值與其距離最近的輸入像素灰度值相同。這種上采樣方法僅以像素點的空間位置作為決定上采樣核的唯一元素，完全忽略特征圖中豐富的語義信息，感受野也被嚴重限制在１×１ 的范圍內(nèi)?；谏鲜鲈?，引入Ｗａｎｇ 等［１３］提出的ＣＡ-ＲＡＦＥ 上采樣算子，在不引入過多參數(shù)量和計算量的前提下，帶來較大的感受野，同時充分利用各層次特征圖中的語義信息進行上采樣。ＣＡＲＡＦＥ 由上采樣核預(yù)測模塊和特征重組模塊兩部分組成。假設(shè)給定上采樣倍率為σ（設(shè)σ 為整數(shù)），輸入特征圖χ 尺寸為Ｈ×Ｗ×Ｃ，ＣＡＲＡＦＥ 將產(chǎn)生尺寸為σＨ×σＷ×Ｃ 的新特征圖。對于χ′中的任何目標位置ｌ′＝ （ｉ′，ｊ′），在輸入特征圖χ 中都有與其對應(yīng)的源位置ｌ ＝ （ｉ，ｊ），其中ｉ 與ｊ 的關(guān)系如式（１）和式（２）所示：

ｉ ＝ ｜ｉ′／ σ｜ ， （１）

ｊ ＝ ｜ｊ′／ σ ｜。（２）

Ｎ ＝ （χｌ，ｋ）表示在χ 中以ｌ 為中心的ｋ×ｋ 范圍的鄰域。

ＣＡＲＡＦＥ 上采樣算子示意如圖３ 所示。第一步，上采樣核預(yù)測模塊Ψ 基于χｌ 的鄰域為每個位置預(yù)測重組核ｗｌ′，如式（３）所示；第二步，特征重組模塊Φ 利用上一步預(yù)測出的核ｗｌ′ 重組特征，輸出特征圖χ′，如式（４）所示：

ｗｌ′ ＝ Ψ（Ｎ（χｌ，ｋｅｎｃｏｄｅｒ ））， （３）

χ′ｌ′ ＝ Φ（Ｎ（χｌ，ｋｕｐ ），ｗｌ′ ）， （４）

式中：ｋｕｐ 表示內(nèi)核的尺寸，ｋｅｎｃｏｄｅｒ 表示內(nèi)容編碼器中卷積層內(nèi)核的尺寸。

上采樣核預(yù)測模塊負責(zé)以內(nèi)容感知的方式生成重組內(nèi)核，主要由通道壓縮模塊、內(nèi)容編碼器和歸一化模塊３ 個子模塊組成。首先是通道壓縮模塊，為減少計算量，Ｈ×Ｗ×Ｃ 的特征圖會經(jīng)過通道壓縮變?yōu)椋取粒住粒茫?。其次是內(nèi)容編碼器將壓縮的特征圖作為輸入，使用內(nèi)核大小為ｋｅｎｃｏｄｅｒ 的卷積層在輸入特征的內(nèi)容基礎(chǔ)上預(yù)測新上采樣核。ｋｅｎｃｏｄｅｒ 的大小與感受野的大小呈正相關(guān)，越大的ｋｅｎｃｏｄｅｒ 可以利用越大范圍內(nèi)的上下文信息。但是，模型整體的計算復(fù)雜度也會伴隨ｋｅｎｃｏｄｅｒ 的增大而增加。經(jīng)過實驗證明，當(dāng)ｋｕｐ ＝ ３，ｋｅｎｃｏｄｅｒ ＝ １ 時，模型在性能與計算量之間取得了一個較好的折衷。最后，將通道維在空間維展開，得到σＨ×σＷ ×ｋ２ｕｐ 的上采樣核然后利用歸一化指數(shù)函數(shù)將其進行歸一化處理，使得卷積核權(quán)重和為１。在特征重組模塊中，將輸出特征圖中的每個像素都映射回初始輸入的特征圖中，取出以ｌ ＝（ｉ，ｊ）為中心點的對應(yīng)Ｎ ＝ （χｌ，ｋｕｐ ）區(qū)域，并與在上采樣核預(yù)測模塊中得到的預(yù)測該像素點的上采樣核ｗｌ′作點積操作，加強了特征圖的語義信息，如式（５）所示，最后得到輸出為σＨ ×σＷ ×Ｃ 的特征圖χ′。

將ＣＡＲＡＦＥ 上采樣算子替換原有的最近鄰上采樣算子后，網(wǎng)絡(luò)模型對于圖像特征提取和融合的能力得到了一定的提升，有效地保留了多尺度異常入侵目標的特征信息，同時也并未引入過多的計算量，使融合后的多尺度特征具有了更為豐富的表達能力。整體優(yōu)化改進后的網(wǎng)絡(luò)結(jié)構(gòu)如圖４ 所示。

１． ３ Ｎｅｔｗｏｒｋ-ｓｌｉｍｍｉｎｇ 策略

添加了新的特征提取層和ＣＡＲＡＦＥ 上采樣算子的網(wǎng)絡(luò)模型在訓(xùn)練好后，仍然存在大量冗余的參數(shù)，因此無法移植部署至邊緣計算平臺上，實現(xiàn)實時檢測異常入侵目標的功能，如何對改進后的模型剪枝是輕量化模型的關(guān)鍵所在。本算法采用Ｎｅｔｗｏｒｋ-ｓｌｉｍｍｉｎｇ 策略［１４］實施剪枝，由于每個尺度參數(shù)與卷積通道是一一映射的，因此，批歸一化（Ｂａｔｃｈ Ｎｏｒ-ｍａｌｉｚａｔｉｏｎ，ＢＮ）使用比例因子對歸一化后的特征通道進行整體縮放，而縮放范圍在一定程度上反映了通道的重要性，可以根據(jù)比例因子的絕對值對通道重要性進行評估，將重要性相對較低的通道進行剪枝，從而減少網(wǎng)絡(luò)參數(shù)量，獲得一個更加緊湊的網(wǎng)絡(luò)模型，圖５ 展示了模型參數(shù)剪枝策略的基本流程。設(shè)ｚｉｎ 與ｚｏｕｔ 分別表示ＢＮ 層的輸入和輸出，Ｂ 表示當(dāng)前的最小批，ＢＮ 層將執(zhí)行以下變換：

式中：μＢ 和σＢ 表示Ｂ 的平均值和標準偏差值，γ 表示每個通道的比例因子，β 表示可訓(xùn)練的仿射變換參數(shù)。通過式（７）可以看出每個通道的ｚｏｕｔ 與比例因子γ 呈正相關(guān)。

在網(wǎng)絡(luò)中ＢＮ 層的比例因子都具備一定的絕對值大小，這意味著每個通道都具有不可忽略的重要性，因此在稀疏訓(xùn)練中對尺度參數(shù)添加Ｌ１ 正則化，稀疏化部分通道。因此，剪枝流程整體為首先使用每個通道的比例因子γ 乘以該通道的輸出；其次，聯(lián)合訓(xùn)練網(wǎng)絡(luò)權(quán)重，并為通道添加稀疏正則化；最后，剪去比例因子較小的，貢獻較少，并微調(diào)剪枝后的網(wǎng)絡(luò)，損失函數(shù)由下式給出：

式中：（ｘ，ｙ）表示訓(xùn)練輸入和執(zhí)行目標，Ｗ 表示可訓(xùn)練的權(quán)重，第一個求和項表示卷積網(wǎng)絡(luò)的正常訓(xùn)練損失，ｇ（·）表示計算Ｌ１ 范數(shù)對比例因子的損失。

本文采用Ｆａｎｇ 等［１５］提出的Ｔｏｒｃｈ-Ｐｒｕｎｉｎｇ 工具，一種通用的結(jié)構(gòu)化剪枝庫，可快速實現(xiàn)Ｎｅｔｗｏｒｋ-ｓｌｉｍｍｉｎｇ 策略，降低模型推理成本。當(dāng)網(wǎng)絡(luò)模型通過一次完整的稀疏化訓(xùn)練、剪枝、微調(diào)后，還可以多次遍歷重復(fù)該流程，如圖６ 所示，以此獲得更為緊湊的模型，運行占用內(nèi)存和計算操作也會相應(yīng)地大大減少。

１． ４ 知識蒸餾微調(diào)

經(jīng)過剪枝后的模型雖然網(wǎng)絡(luò)參數(shù)量和計算量都大大減少，但是檢測精度劣化是一個難以避免的情況。為了克服此困難，本小節(jié)將知識蒸餾（Ｋｎｏｗｌｅｄｇｅｄｉｓｔｉｌｌａｔｉｏｎ）［１６］與模型微調(diào)有機充分結(jié)合，盡可能消除網(wǎng)絡(luò)模型剪枝后所帶來的負面影響。知識蒸餾使用教師－學(xué)生訓(xùn)練模式，由完成預(yù)訓(xùn)練的大型教師模型對小型學(xué)生模型進行知識蒸餾，以輕微的性能損失為代價，將非常復(fù)雜的教師模型中的知識完全遷移到學(xué)生模型中，不但學(xué)習(xí)了教師模型的泛化能力，也獲得了近似于教師模型的性能。其中，蒸餾損失函數(shù)式（９）將計算教師模型與學(xué)生模型預(yù)測結(jié)果的差異：

Ｌ ＝ δＬｈａｒｄ ＋ （１ － δ）Ｌｓｏｆｔ， （９）

式中：Ｌｈａｒｄ 為使用真實值訓(xùn)練輸出的硬樣本損失函數(shù)，Ｌｓｏｆｔ 為教師模型預(yù)測的軟樣本損失函數(shù)，δ 為平衡軟、硬樣本二者損失函數(shù)的參數(shù)。

圖７ 全面展示了本文網(wǎng)絡(luò)模型知識蒸餾過程。教師模型采ＹＯＬＯｖ５ＸＬ 網(wǎng)絡(luò)，是ＹＯＬＯｖ５ 系列中性能最好、模型參數(shù)最大的網(wǎng)絡(luò)，學(xué)生模型則使用改進并剪枝后的ＹＯＬＯｖ５ｓ 模型。

２ 實驗數(shù)據(jù)集及評估指標

２． １ 變電站異常入侵目標數(shù)據(jù)集

現(xiàn)有的異常入侵目標數(shù)據(jù)集，均不適用于變電站場景下的訓(xùn)練與測試，理由有以下３ 點：

（１）獨特應(yīng)用場景

具有實際應(yīng)用場景的數(shù)據(jù)集是網(wǎng)絡(luò)模型訓(xùn)練測試的關(guān)鍵，而目前現(xiàn)有的異常入侵目標數(shù)據(jù)集并沒有針對變電站這一特殊場景建立。

（２）獨特異常入侵目標

常見異常入侵目標數(shù)據(jù)集多數(shù)針對鐵路或軌道中的泥石流、落石、行人、汽車和自行車等異常入侵目標建立。然而本文所提出的數(shù)據(jù)庫是針對變電站場景下專有的異常入侵目標：鳥、貓、狗、人、松鼠、鼠和蛇，與現(xiàn)有的異常入侵數(shù)據(jù)集中的類別并無關(guān)聯(lián)。

（３）獨特異常入侵目標尺度

經(jīng)過實地勘探發(fā)現(xiàn)，變電站異常入侵目標的尺寸相較于鐵路場景下的入侵目標尺寸差距較大，如圖８ 所示。

由于變電站場景下的異常入侵檢測目標類別和尺寸均與普通異常入侵目標差異較大，并且檢測場景也完全不同，因此，現(xiàn)有的異常入侵目標數(shù)據(jù)集不能用于變電站的異常入侵檢測。本文在變電站實際場景下收集數(shù)據(jù)建立了一個變電站異常入侵目標數(shù)據(jù)集（Ｄａｔａｓｅｔ ｆｏｒ Ａｎｏｍａｌｙ Ｉｎｖａｓｉｏｎ Ｔａｒｇｅｔｓ ｉｎ Ｓｕｂｓｔａ-ｔｉｏｎｓ，ＳＡＩＴＤ），以保證后續(xù)實驗研究結(jié)果具有較高的可靠性。

ＳＡＩＴＤ 通過在變電站實際場景下安裝攝像頭拍攝的真實視頻，通過Ｐｏｔｐｌａｙｅｒ 軟件跳幀剪成共２ ３１０ 張圖片，每張圖片尺寸為６４０ ｐｉｘｅｌ×６４０ ｐｉｘｅｌ，共涵蓋７ 類目標，分別為鳥（ｂｉｒｄ）、狗（ｄｏｇ）、貓（ｃａｔ）、人（ｐｅｒｓｏｎ）、蛇（ｓｎａｋｅ）、松鼠（ｓｑｕｉｒｒｅｌ）和鼠（ｍｏｕｓｅ）。異常入侵目標類別及對應(yīng)數(shù)量如表２所示。

按照８ ∶ １ ∶ １ 的比例將ＳＡＩＴＤ 劃分為訓(xùn)練集、驗證集和測試集。

２． ２ 性能評價指標

由于改進后的算法可根據(jù)需要實地部署在變電站場景中，應(yīng)從檢測準確度、模型復(fù)雜度、計算量和檢測實時性等方面評估算法性能。因此，本實驗采用交并比閾值為０． ５ 的平均精度均值（ｍｅａｎＡｖｅｒａｇｅ Ｐｒｅｃｉｓｉｏｎ，ｍＡＰ）、單張圖片推理時間、模型計算量（ＧＦＬＯＰｓ）和模型參數(shù)量（Ｐａｒａｍｅｔｅｒｓ）等性能評價指標從多維度評估算法。

３ 實驗及結(jié)果分析

３． １ 實驗環(huán)境

本算法在服務(wù)器上運行訓(xùn)練，在英偉達ＪｅｓｔｏｎＮａｎｏ 開發(fā)板上部署測試，具體如圖９ 所示。英偉達Ｊｅｓｔｏｎ Ｎａｎｏ 操作系統(tǒng)為Ｕｂｕｎｔｕ ２０． ０４，ＧＰＵ 為Ｍａｘ-ｗｅｌｌ２． ０，網(wǎng)絡(luò)模型是基于ＰｙＴｏｒｃｈ１． １１． ０ 版本深度學(xué)習(xí)框架進行搭建，ＣＵＤＡ 版本為１１． ６，Ｐｙｔｈｏｎ 語言版本為３． ７。

３． ２ 模塊對比實驗分析

為了驗證改進模型算法的可行性和有效性，針對改進模塊和知識蒸餾進行橫向?qū)Ρ葘嶒灒诒３帜Ｐ推溆嗖糠植蛔兊幕A(chǔ)之上，對相同位置不同改進點或不同教師模型進行對比實驗。所有實驗均在ＹＯＬＯｖ５-６． ０ 版本基礎(chǔ)上進行改進，迭代次數(shù)為３００。

３． ２． １ ＣＡＲＡＦＥ 中ｋｕｐ 與ｋｅｎｃｏｄｅｒ 取值對比

由于內(nèi)容編碼器需要較大的ｋｅｎｃｏｄｅｒ ×ｋｅｎｃｏｄｅｒ 感受野來利用更大范圍內(nèi)的上下文信息預(yù)測上采樣核ｗｌ′，所以ｋｕｐ 的大小需要對應(yīng)增加。但是，模型整體的計算復(fù)雜度也會伴隨ｋｅｎｃｏｄｅｒ 的增大而增加。

為了使得模型能夠兼顧更快的檢測速度和較高的檢測精度，針對ｋｅｎｃｏｄｅｒ 和ｋｕｐ 的不同取值進行模型性能對比。設(shè)定一般場景下：ｋｅｎｃｏｄｅｒ ＝ ｋｕｐ －２。實驗結(jié)果如表３ 所示，模型計算量和參數(shù)量隨著ｋｅｎｃｏｄｅｒ 的增大而逐漸增加，當(dāng)ｋｅｎｃｏｄｅｒ ＝ １，ｋｕｐ ＝ ３ 時，模型能在保證較高ｍＡＰ 的情況下，獲得較少的參數(shù)量和計算量開銷，更有利于輕量化模型的構(gòu)建和部署。

３． ２． ２ 不同上采樣算子對比分析

將ＣＡＲＡＦＥ 上采樣算子替代模型原有的最近鄰插值法，并同時與雙線性插值法（Ｂｉｌｉｎｅａｒ Ｉｎｔｅｒｐｏｌａ-ｔｉｏｎ）轉(zhuǎn)置卷積法（ｃｏｎｖＴｒａｎｓｐｏｓｅ２ｄ）這２ 種上采樣方法進行對比，實驗結(jié)果如表４ 所示?？梢钥闯觯茫?ＲＡＦＥ 上采樣算子相較于其余上采樣方法對于改進后的模型貢獻更大，在計算量與參數(shù)量增加不多的前提下，檢測精度提升最多。引入的ＣＡＲＡＦＥ 上采樣算子可以充分利用不同尺寸特征圖中的語義信息，擴大感受野，使小尺寸異常入侵目標的特征更為明顯，位置信息更加清晰，能夠更好地融合多尺度特征。

３． ２． ３ 知識蒸餾對比分析

為了驗證使用ＹＯＬＯｖ５ＸＬ 模型作為教師模型的有效性，針對知識蒸餾微調(diào)模型中使用不同的教師模型進行實驗對比分析。分別使用ＹＯＬＯｖ５Ｌ、ＹＯＬＯｖ７ 兩種中大型網(wǎng)絡(luò)模型作為知識蒸餾中的教師模型，實驗結(jié)果如圖１０ 所示。使用ＹＯＬＯｖ５ＸＬ作為教師模型對改進且剪枝后的網(wǎng)絡(luò)模型進行蒸餾，模型計算量下降了３２． ０８％ ，檢測精度提升了１． ８％ ，證明該教師模型可使學(xué)生模型在保障模型復(fù)雜度較低的前提下，獲得更好的檢測性能。

３． ３ 消融實驗分析

為了驗證模型改進的有效性，本節(jié)對模型改進處在ＳＡＩＴＤ 上進行消融實驗。實驗結(jié)果如表５ 所示，ＹＯＬＯｖ５ｓ 加入新的特征提取層后，對于小尺度異常入侵目標漏檢的情況有明顯改善，相較于基準模型平均檢測精度提升了１． ３７％ ，相應(yīng)的參數(shù)量和計算量都有一定的增加。在此基礎(chǔ)上引入了ＣＡＲＡＦＥ 算子后，模型參數(shù)量明顯增多，檢測精度提升了２． ２％ 。使用Ｎｅｔｗｏｒｋ-ｓｌｉｍｍｉｎｇ 策略對改進后的模型進行剪枝，由圖１１ 可說明，參數(shù)量直線下降了約４９． ２％ ，證明剪枝策略效果較好，但會損失一定的檢測精度作為剪枝壓縮模型的代價。使用知識蒸餾微調(diào)模型后，不但保持了較低的參數(shù)量和計算量，還恢復(fù)了一定的檢測精度。實驗證明，所提改進模塊在ＳＡＩＴＤ 上展示的性能均有一定幅度的提升，ＹＯＬＯｖ５-Ｓｕｂｓｔａｔｉｏｎ 在保證較高檢測準確度時，也具有較快的檢測速度，實現(xiàn)了輕量化實時檢測異常入侵目標的功能。

３． ４ 模型對比實驗分析

使用ＹＯＬＯｖ５ｎ、ＹＯＬＯｖ７［１７］等５ 款主流模型與ＹＯＬＯｖ５-Ｓｕｂｓｔａｔｉｏｎ 在ＳＡＩＴＤ 上進行對比實驗。分別從ｍＡＰ、模型計算量、模型參數(shù)量和單張圖片推理時間４ 個維度來評估６ 個模型的性能。實驗數(shù)據(jù)結(jié)果如表６ 和圖１２ 所示，可視化結(jié)果如圖１３ 所示。ＹＯＬＯｖ５ｎ 雖然是６ 種網(wǎng)絡(luò)模型中最輕量、推理時間最快的模型，但是檢測精度卻非常不理想，出現(xiàn)漏檢場景里出現(xiàn)的小尺寸異常入侵目標的情況。ＹＯＬＯｖ５Ｌ、ＹＯＬＯｖ５ＸＬ、ＹＯＬＯｖ７ 作為中大型模型，相比于輕量化模型，中大型模型的檢測精度展示出了較高標準，但由于模型整體計算開銷和占用內(nèi)存較大，并不適合部署于邊緣計算平臺上。改進后的ＹＯＬＯｖ５Ｓｕｂｓｔａｔｉｏｎ 極大地改善了其余模型漏檢較小尺寸異常入侵目標的情況，相比于ＹＯＬＯｖ５ｓ，有效提高了多尺度目標檢測精度，減少了近２６％ 計算開銷，擁有了更為輕量化的模型參數(shù)，能夠滿足無人值守變電站下實時檢測的需求。

４ 結(jié)束語

本文針對無人值守變電站場景下異常入侵目標檢測方法無法兼顧檢測精度與實時性能的問題，從實際應(yīng)用需求出發(fā)，基于ＹＯＬＯｖ５ｓ 模型提出適用于變電站邊緣檢測設(shè)備的輕量化異常目標檢測網(wǎng)絡(luò)ＹＯＬＯｖ５-Ｓｕｂｓｔａｔｉｏｎ。有效緩解了小尺度目標漏檢問題，在保證模型對于多尺度目標較高檢測精度的同時，加速模型推理，使得輕量化后的邊緣端計算模型推理速度相較于原有ＹＯＬＯｖ５ｓ 提升了４１． ９％ ，ＳＡＩＴＤ 的建立也為后續(xù)研究變電站異常入侵目標提供了強有力的數(shù)據(jù)支撐，為智能電網(wǎng)的建設(shè)提供了切實可行的方法。

參考文獻

［１］ 新華社． 中華人民共和國國民經(jīng)濟和社會發(fā)展第十四個五年規(guī)劃和２０３５ 年遠景目標綱要［ＥＢ ／ ＯＬ ］．（２０２１－０３－１３）［２０２３－０８－２７］． ｈｔｔｐｓ：∥ｗｗｗ． ｇｏｖ． ｃｎ ／ｘｉｎｗｅｎ ／ ２０２１－０３ ／ １３ ／ ｃｏｎｔｅｎｔ＿５５９２６８１． ｈｔｍ．

［２］ ＴＡＮＧ Ｗ Ｊ，ＣＨＥＮ Ｈ Ｇ． Ｒｅｓｅａｒｃｈ ｏｎ ＩｎｔｅｌｌｉｇｅｎｔＳｕｂｓｔａｔｉｏｎ Ｍｏｎｉｔｏｒｉｎｇ ｂｙ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ Ｍｅｔｈｏｄ［Ｊ］．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｅｍｅｒｇｉｎｇ Ｅｌｅｃｔｒｉｃ Ｐｏｗｅｒ Ｓｙｓｔｅｍｓ，２０２１，２２（１）：１－７．

［３］ ＳＴＡＵＦＦＥＲ Ｃ，ＧＲＩＭＳＯＮ Ｗ Ｅ Ｌ． Ａｄａｐｔｉｖｅ ＢａｃｋｇｒｏｕｎｄＭｉｘｔｕｒｅ Ｍｏｄｅｌｓ ｆｏｒ Ｒｅａｌｔｉｍｅ Ｔｒａｃｋｉｎｇ［Ｃ］∥１９９９ ＩＥＥＥＣｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄＰａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｆｏｒｔ Ｃｏｌｌｉｎｓ：ＩＥＥＥ，１９９９：２４６－２５２．

［４］ ＬＩＮ Ｙ Ｗ，ＴＯＮＧ Ｙ，ＣＡＯ Ｙ，ｅｔ ａｌ． ＶｉｓｕａｌａｔｔｅｎｔｉｏｎｂａｓｅｄＢａｃｋｇｒｏｕｎｄ Ｍｏｄｅｌｉｎｇ ｆｏｒ Ｄｅｔｅｃｔｉｎｇ Ｉｎｆｒｅｑｕｅｎｔｌｙ ＭｏｖｉｎｇＯｂｊｅｃｔｓ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，２０１７，２７（６）：１２０８－１２２１．

［５］ ＬＩＭ Ｌ Ａ，ＫＥＬＥＳ Ｈ Ｙ． Ｆｏｒｅｇｒｏｕｎｄ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｕｓｉｎｇ ａＴｒｉｐｌｅｔ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｍｕｌｔｉｓｃａｌｅ Ｆｅａｔｕｒｅ Ｅｎｃｏｄｉｎｇ ［ＥＢ ／ ＯＬ］． （２０１８ － ０１ － ０７）［２０２３ － ０８ －２７］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／ １８０１． ０２２２５．

［６］ ＢＲＡＨＡＭ Ｍ，ＤＲＯＯＧＥＮＢＲＯＥＣＫ Ｍ Ｖ． Ｄｅｅｐ ＢａｃｋｇｒｏｕｎｄＳｕｂｔｒａｃｔｉｏｎ ｗｉｔｈ Ｓｃｅｎｅｓｐｅｃｉｆｉｃ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ［Ｃ］∥２０１６ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｙｓｔｅｍｓ，Ｓｉｇｎａｌｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ． Ｂｒａｔｉｓｌａｖａ：ＩＥＥＥ，２０１６：１－４．

［７］ ＣＨＥＮ Ｔ Ｙ Ｈ，ＲＡＶＩＮＤＲＡＮＡＴＨ Ｌ，ＤＥＮＧ Ｓ，ｅｔ ａｌ．ＧＬＩＭＰＳＥ：Ｃｏｎｔｉｎｕｏｕｓ，Ｒｅａｌｔｉｍｅ Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ ｏｎＭｏｂｉｌｅ Ｄｅｖｉｃｅｓ ［Ｃ ］ ∥ １３ｔｈ ＡＣＭ Ｃｏｎｆｅｒｅｎｃｅ ｏｎＥｍｂｅｄｄｅｄ Ｎｅｔｗｏｒｋｅｄ Ｓｅｎｓｏｒ Ｓｙｓｔｅｍｓ． Ｓｅｏｕｌ：ＡＣＭ，２０１５：１５５－１６８．

［８］ ＬＩＵ Ｌ Ｙ，ＬＩ Ｈ Ｙ，ＧＲＵＴＥＳＥＲ Ｍ． Ｅｄｇｅ Ａｓｓｉｓｔｅｄ Ｒｅａｌｔｉｍｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｆｏｒ Ｍｏｂｉｌｅ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ［Ｃ］∥Ｔｈｅ ２５ｔｈ Ａｎｎｕａｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｏｂｉｌｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｎｅｔｗｏｒｋｉｎｇ． Ｌｏｓ Ｃａｂｏｓ：ＡＣＭ，２０１９：１－１６．

［９］ ＲＥＮ Ｊ，ＧＵＯ Ｙ Ｄ，ＺＨＡＮＧ Ｄ Ｙ，ｅｔ ａｌ． Ｄｉｓｔｒｉｂｕｔｅｄ ａｎｄ Ｅｆｆｉｃｉｅｎｔ Ｏｂｊｅｃｔ ｉｎ Ｅｄｇｅ Ｃｏｍｐｕｔｉｎｇ：Ｃｈａｌｌｅｎｇｅｓ ａｎｄＳｏｌｕｔｉｏｎｓ［Ｊ］． ＩＥＥＥ Ｎｅｔｗｏｒｋ，２０１８，３２（６）：１３７－１４３．

［１０］ 王瑞，李霄峰，史天運，等． 基于視頻深度學(xué)習(xí)的鐵路周界入侵檢測算法研究［Ｊ］． 交通運輸系統(tǒng)工程與信息，２０２０，２０（２）：６１－６８．

［１１］ 郭保青，王寧． 基于改進深度卷積網(wǎng)絡(luò)的鐵路入侵行人分類算法［Ｊ ］． 光學(xué)精密工程，２０１８，２６ （１２ ）：３０４０－３０５０．

［１２］ 何文玉，楊杰，張?zhí)炻叮?基于深度學(xué)習(xí)的軌道異物入侵檢測算法［Ｊ］． 計算機工程與設(shè)計，２０２０，４１ （１２ ）：３３７６－３３８３．

［１３］ ＷＡＮＧ Ｊ Ｑ，ＣＨＥＮ Ｋ，ＸＵ Ｒ，ｅｔ ａｌ． ＣＡＲＡＦＥ：Ｃｏｎｔｅｎｔａｗａｒｅ Ｒｅａｓｓｅｍｂｌｙ ｏｆ Ｆｅａｔｕｒｅｓ［Ｃ］∥２０１９ ＩＥＥＥ ／ ＣＶＦ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． Ｓｅｏｕｌ：ＩＥＥＥ，２０１９：３００７－３０１６．

［１４］ ＬＩＵ Ｚ，ＬＩ Ｊ Ｇ，ＳＨＥＮ Ｚ Ｑ，ｅｔ ａｌ． Ｌｅａｒｎｉｎｇ Ｅｆｆｉｃｉｅｎｔ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｔｈｒｏｕｇｈ Ｎｅｔｗｏｒｋ Ｓｌｉｍｍｉｎｇ［Ｃ］∥ ２０１７ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ （ＩＣＣＶ）． Ｖｅｎｉｃｅ：ＩＥＥＥ，２０１７：２７５５－２７６３．

［１５］ ＦＡＮＧ Ｇ Ｆ，ＭＡ Ｘ Ｙ，ＳＯＮＧ Ｍ Ｌ，ｅｔ ａｌ． Ｄｅｐ Ｇｒａｐｈ：Ｔｏｗａｒｄｓ Ａｎｙ Ｓｔｒｕｃｔｕｒａｌ Ｐｒｕｎｉｎｇ［Ｃ］∥ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｖａｎｃｏｕｖｅｒ：ＩＥＥＥ，２０２３：１６０９１－１６１０１．

［１６］ ＨＩＮＴＯＮ Ｇ，ＶＩＮＹＡＬＳ Ｏ，ＤＥＡＮ Ｊ． Ｄｉｓｔｉｌｌｉｎｇ ｔｈｅＫｎｏｗｌｅｄｇｅ ｉｎ ａ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ［ＥＢ ／ ＯＬ］． （２０１５ － ０３ －０９）［２０２３－０８－２７］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／ １５０３．

［１７］ ＷＡＮＧ Ｃ Ｙ，ＢＯＣＨＫＯＶＳＫＩＹ Ａ，ＬＩＡＯ Ｈ Ｙ Ｍ． ＹＯＬＯｖ７：Ｔｒａｉｎａｂｌｅ Ｂａｇｏｆｆｒｅｅｂｉｅｓ Ｓｅｔｓ Ｎｅｗ Ｓｔａｔｅｏｆｔｈｅａｒｔ ｆｏｒＲｅａｌｔｉｍｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｏｒｓ ［Ｃ ］∥ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｖａｎｃｏｕｖｅｒ：ＩＥＥＥ，２０２３：７４６４－７４７５．

作者簡介

潘 磊 男，（１９８２—），博士，副教授，碩士生導(dǎo)師。主要研究方向：智慧民航、計算機視覺和情感計算等。

（*通信作者）趙枳晴 女，（１９９７—），碩士研究生。主要研究方向：運動目標檢測、小目標檢測。

傅 強 男，（１９６９—），碩士，研究員，碩士生導(dǎo)師。主要研究方向：計算機技術(shù)與民航行業(yè)應(yīng)用。

鄭 遠 男，（１９９３—），博士，講師。主要研究方向：計算機視覺、軌跡規(guī)劃等。

田 俊 男，（１９９８—），碩士研究生。主要研究方向：圖像增強、目標檢測。

基金項目：中國民用航空飛行學(xué)院智慧民航專項（ＺＨＭＭ２０２２－００５）；民航飛行技術(shù)與飛行安全重點實驗室開放基金（ＦＺ２０２２ＫＦ１０）；民航飛行技術(shù)與飛行安全重點實驗室自主研究項目（ＦＺ２０２２ＺＺ０６）；中國民用航空飛行學(xué)院重點面上項目（ＺＪ２０２１－１１）；中國民用航空飛行學(xué)院２０２３ 研究生創(chuàng)新項目（Ｘ２０２３－２９）