可學習雙邊引導去霧模型在鐵路電力巡檢中的應用

【關鍵詞】圖像去霧；鐵路電力巡檢；YOLOv8；深度學習；目標檢測；鳥窩識別；自動化檢測系統(tǒng)

引言

隨著鐵路運輸在我國經(jīng)濟和社會發(fā)展中的重要性日益增加，確保鐵路電力系統(tǒng)的可靠運行變得至關重要。特別是每年1月至5月，大量鳥類開始筑巢，導致鐵路電力巡檢面臨嚴峻挑戰(zhàn)。[1]傳統(tǒng)的鐵路電力巡檢主要依賴人工視覺檢查，應對大規(guī)模的鐵路網(wǎng)絡，這種方法效率低且在惡劣天氣條件下難以實施。鑒于此，本研究旨在開發(fā)一種創(chuàng)新的自動化解決方案，結合先進的圖像去霧技術和深度學習算法，以提高鐵路電力系統(tǒng)巡檢的效率和準確性。研究特別關注于復雜環(huán)境、低能見度條件下，鐵路接觸網(wǎng)設備上的鳥窩識別問題。本研究設計并實現(xiàn)了一個集成了可學習雙邊引導圖像去霧模型和YOLOv8目標檢測算法的模型。該模型能有效地從大霧中恢復圖像的清晰度，并準確地識別出鳥窩位置。與傳統(tǒng)的巡檢方法相比，本模型在處理速度和識別準確性方面都展現(xiàn)出顯著的優(yōu)勢。

一、本研究使用方法及過程

（一）本研究模型流程

在本研究中，將YOLOv8目標檢測模型與去霧模型結合應用，以提升在復雜氣象條件下的識別準確性。首先，去霧模型處理圖像，增強其清晰度，為YOLOv8提供高質(zhì)量輸入。YOLOv8在清晰的圖像上執(zhí)行目標檢測，其準確率由于去霧處理而得到顯著提升。這種整合充分發(fā)揮了兩種技術的優(yōu)勢，使得在低能見度條件下仍能保持高效的鳥窩識別性能。

（二）去霧模型設計與工作原理

1.現(xiàn)有去霧技術及理論回顧

去霧模型的設計其中一個關鍵概念是顏色映射機制。這個機制可以通過以下步驟來實現(xiàn)，同時還借鑒了現(xiàn)有文獻中的方法：

首先，利用低分辨率的輸入圖像和相應的輸出圖像來訓練卷積神經(jīng)網(wǎng)絡，目的是預測雙邊空間中局部仿射模型的系數(shù)。這個訓練過程旨在使模型能夠?qū)W習如何將輸入圖像的顏色平滑地映射到輸出圖像的顏色，同時保持圖像的細節(jié)邊緣和紋理信息。[2]確定了這些局部仿射模型的系數(shù)后，它們可以用于處理全分辨率的輸入圖像。在這個過程中，采用了切片節(jié)點進行上采樣，以確保圖像的邊緣保持清晰。此外，通過引入多個引導矩陣的策略，這些矩陣協(xié)助仿射雙邊網(wǎng)格更有效地恢復高質(zhì)量的圖像，并在去霧過程中提供更豐富的顏色和紋理信息。[3]這一方法的關鍵創(chuàng)新之處在于將深度卷積神經(jīng)網(wǎng)絡應用于構建仿射雙邊網(wǎng)格，從而在去霧過程中保留圖像的細節(jié)邊緣和紋理信息，同時引入多引導矩陣策略以進一步提高圖像的質(zhì)量。

2.本研究去霧模型設計

本模型使用雙邊網(wǎng)格策略，以考慮圖像中即使在視覺上相近的鄰近像素在雙邊空間的距離上可能相差很遠的情況。它的核心思想是通過一組仿射函數(shù)來預測并復原圖像的清晰結構和細節(jié)邊緣。模型的架構分為三個處理分支：

上分支：將原始圖像降低分辨率后，經(jīng)過兩個不同配置的U-Net網(wǎng)絡生成兩個深度不同的雙邊網(wǎng)格，以適應不同強度的圖像特征。

中分支：對原始圖像進行處理后，將其上采樣回原始分辨率，為最終的仿射變換做準備。

下分支：專注于制造仿射變換的引導圖，將原始彩色圖像分解為三個單色通道圖像，并提取特征，形成制導圖。

模型的關鍵步驟是將下分支的制導圖與上分支的雙邊網(wǎng)格結合，通過雙邊網(wǎng)格參數(shù)對制導圖進行插值，生成不同深度的仿射系數(shù)矩陣。這些系數(shù)矩陣用于指導中分支處理后的圖像進行逐像素的仿射變換。最后，中間結果與輸入的有霧圖像融合，輸出最終的去霧圖像。

（三）去霧模型數(shù)據(jù)收集與預處理

在本研究中，采用4KID數(shù)據(jù)集進行訓練，這是一個專門為圖像去霧任務設計的數(shù)據(jù)集。它包含從100個不同手機拍攝的4K分辨率視頻片段中提取的共計10000幀圖像，每幀圖像都配對有其對應的有霧和清晰版本。數(shù)據(jù)集的構建采取了兩種方法擴充有霧圖像：基于物理模型的合成：依據(jù)大氣球面散射模型，合成模擬有霧的圖像。

基于參數(shù)變化的生成：通過改變大氣光照條件和散射系數(shù)的數(shù)值，隨機生成一系列不同程度霧霾效果的圖像。

為了適應實驗設備的算力限制，原始圖像從4K分辨率被重新縮放到480x270或960x540的固定大小。實驗中使用的是12488張訓練圖像和2270張測試圖像，包括有霧和無霧版本。本研究報告將主要展示使用960x540分辨率圖像進行訓練的結果，這一分辨率更適合本研究的深度學習模型，同時能保證圖像質(zhì)量和處理速度之間的平衡。

（四）YOLOv8目標識別算法在本研究中的應用

YOLOv8是目前領先的目標檢測模型。在本研究中，采用了由真實拍攝的鳥窩圖像組成的數(shù)據(jù)集，包括2241張用于訓練和581張用于驗證的圖像。為了優(yōu)化模型在多變現(xiàn)實環(huán)境下的表現(xiàn)，對數(shù)據(jù)進行了預處理，包括對圖像進行旋轉(zhuǎn)和添加椒鹽噪聲。此外，所有圖像均經(jīng)過Letterbox方法處理，統(tǒng)一調(diào)整至640x640像素的分辨率，確保圖像在模型訓練中的一致性和有效性。最后通過YOLOv8在清晰的圖像上執(zhí)行目標檢測，使得在低能見度條件下仍能保持高效的鳥窩識別性能。

（五）實驗環(huán)境及性能評估

在本次實驗中注重合適的實驗設置和配置，為確保實驗的準確性和可重復性選擇高性能的算力云平臺，使用RTXA4000顯卡，并使用了PyTorch 1.11和Python 3.8作為主要工具。此外，還設置了Cuda 11.3以優(yōu)化GPU加速效率。這些設置和配置為實驗提供了強大的計算資源和穩(wěn)定的開發(fā)環(huán)境[4]。同時研究使用多種評估指標來量化所提出的方法的性能和效果。這些指標旨在衡量去霧模型和YOLOv8目標檢測算法在復雜氣象條件下的性能。以下是本研究使用的主要評估指標：

1.去霧效果評價指標

（1）峰值信噪比PSNR：

峰值信噪比用于衡量兩張圖像之間差異。給定大小為m×n干凈圖像Ι和噪聲圖像K，其中MSE是均方誤差，MAXΙ表示圖像Ι的最大像素值。兩張圖像的峰值信噪比可按照以下方式求出：

（2）結構相似性SSIM：

結構相似指標是一種衡量兩幅圖像相似度的指標。其中μχ是χ的平均值，μy 是 y 的平均值， 是 x的方差， 是y的方差， 是x和y的協(xié)方差。 ， 是用來維持穩(wěn)定的常數(shù)。L是像素值的動態(tài)范圍。兩張圖像的結構相似性可按照以下方式求出：

實驗結果表明，本研究目前訓練出的模型在4KID數(shù)據(jù)集上的性能表現(xiàn)：PSNR上升11.73，SSIM上升0.087，均優(yōu)于UHD模型的論文中所報告的結果，這不僅僅是由于實驗配置的不同所導致的。研究團隊認為，這一性能提升反映了本研究模型在去霧任務上的有效性和創(chuàng)新之處。團隊將繼續(xù)深入研究以驗證和解釋這些結果，并期待在未來的研究中進一步拓展本模型性能。

3.目標檢測性能指標：

精確度： 表示檢測正確的正樣本占所有被檢測為正樣本的比例。

F1分數(shù)： 是精確度和召回率的調(diào)和平均值，用于綜合考慮精確度和召回率。

置信度閾值： 用于決定檢測結果是否被視為正樣本的閾值。

Yolov8模型輸出了F1-置信度曲線和精確度-置信度曲線。從精確度置信度曲線表明當置信度閾值在0.831時，模型達到了所有類別近乎完美的精確度。這表示模型在高置信度閾值下非常有信心地做出準確的預測。而從F1-置信度曲線表明在約0.494的置信度閾值下，模型達到了所有類別的高F1分數(shù)0.99。這意味著模型在此置信度閾值下實現(xiàn)了精確度和召回率之間良好的平衡。

本模型在鳥巢檢測任務上表現(xiàn)出色，特別是在高置信度閾值下達到了完美的精確度，并且在較低置信度閾值時也保持了非常高的F1分數(shù)。這些結果表明，本模型在保持高精確度的同時，能夠有效地平衡召回率，確保了檢測性能的優(yōu)越性。

二、實驗結果

實驗結果圖展示了本研究模型的三個階段的處理過程。在第一階段，是因大霧而模糊的鐵路接觸網(wǎng)設備圖。第二階段展示了經(jīng)過去霧模型處理后的圖像，此時大霧已經(jīng)清除，鐵路設備的圖像變得更加清晰和銳利。在最終階段，模型進行目標識別并顯示了鳥窩，并為每個檢測到的鳥窩分配了置信度評分，分別為0.72、0.77、0.80和0.83。這一過程展示了模型在大霧條件下改善能見度的能力，以及其在清晰圖像中檢測特定對象的能力。

研究結論

本研究成功開發(fā)了一種基于可學習雙邊引導去霧模型和YOLOv8目標檢測算法的新型解決方案，用于鐵路電力系統(tǒng)的巡檢。在復雜氣象條件下，該模型精確識別和評分鳥窩位置，顯著提高了檢測性能。實驗結果表明，在大霧環(huán)境下，該模型有效恢復圖像清晰度，提供更高對比度的圖像，顯著提升了鐵路巡檢的效率和準確性。深入分析和測試顯示，本模型在去霧效果方面表現(xiàn)出色，尤其在處理復雜環(huán)境條件時。此外，它在不同置信度閾值下展現(xiàn)出卓越的適應性，既能在高置信度下保持精確度，又能在低置信度下維持高F1分數(shù)，呈現(xiàn)出色的平衡性，這對于自動化監(jiān)控系統(tǒng)至關重要。

本研究的模型融合了去霧技術和目標檢測算法，為鐵路電力巡檢技術的發(fā)展帶來了新的可能性，提高了技術水平，也為未來圖像處理技術的應用和發(fā)展提供了堅實的基礎。希望這一研究成果能夠積極影響鐵路電力巡檢的高效性和準確性，并在實際應用中取得顯著成果，為鐵路運輸?shù)陌踩峁┯辛χС帧?/p>