基于判別式深度置信網絡的智能電纜隧道缺陷檢測技術研究

黃振寧，趙永貴，許志亮，溫飛，張成

（1.國網山東省電力公司，山東濟南 250000；2.國網山東省電力公司臨沂供電公司，山東臨沂 276000；3.國網山東省電力公司青島供電公司，山東青島 266000；4.山東科華電力技術有限公司，山東濟南 250101）

隨著我國經濟的快速發(fā)展，電力網絡也在不斷完善。由于電力資源分布與經濟發(fā)展水平的不平衡，遠程電力運輸也成為了一個必然選擇[1]。近年來，電纜隧道化布局作為新的發(fā)展趨勢，其能夠適應大容量、長距離密集輸電的要求，但也給電纜檢測帶來了一系列困難。因此，智能電纜隧道缺陷檢測也成為了一個新的研究方向[2-3]。

針對電纜隧道缺陷特性，文獻[4]提出了基于巡檢圖像的電纜缺陷檢測方法；文獻[5]基于機器視覺算法對結構表面的缺陷進行檢測；文獻[6]提出利用深度學習進行表面缺陷檢測。上述方法均在一定程度上利用圖像信息來進行缺陷檢測，然而在對檢測準確率的提高以及缺陷種類的判別等方面仍存在較多不足。

為了進一步提高缺陷檢測準確率，文獻[7-10]提出利用卷積神經網絡進行訓練，從而有效識別物體表面缺陷；文獻[11-12]利用拓展支持向量機實現(xiàn)網絡訓練與缺陷判別；文獻[13-15]采用判別式深度置信網絡方法進行心電圖異常判別。此外，文獻[16]也將判別式深度置信網絡方法用于醫(yī)學診斷領域，并取得了一定的研究成果。但該研究領域較為局限，且效果也有待提高。

針對研究現(xiàn)狀與電纜隧道缺陷檢測的實際需求，該文提出了基于判別式深度置信網絡的缺陷檢測技術。通過提取電纜隧道圖像并進行子塊分割，將其作為深度置信網絡的訓練集。然后以三層深度的神經網絡為模型，并利用貪婪算法進行無監(jiān)督判別。采用梯度下降法對網絡進行反向監(jiān)督訓練提高了判別精度，文中仿真結果表明，所提算法的電纜缺陷檢測能力優(yōu)于現(xiàn)有算法，且對于多類別缺陷均有較好的適用性。

1 算法框架

該文提出基于判別式深度置信網絡的智能電力隧道缺陷檢測技術，其通過智能設備采集電纜隧道圖形，并進行特征訓練匹配。該算法的流程框圖如圖1 所示。

圖1 判別式深度置信網絡缺陷檢測流程框圖

基于判別式深度置信網絡的缺陷檢測技術主要包括兩個部分，即模型訓練和特征匹配。

其中，模型訓練包括采集訓練圖像、建立DDBNs模型、特征提取與訓練等步驟。其通過智能設備采集電纜隧道圖像，建立各類電纜隧道缺陷數(shù)據庫，并利用DDBNs 網絡進行特征提取與訓練，從而完成缺陷模型庫的構建。

而特征匹配是在完成缺陷模型庫訓練之后，通過采集電纜隧道待檢測圖像并進行子塊分割以適應于算法模型要求。然后將圖像子塊與模型庫進行特征匹配，并通過最優(yōu)模型判別以實現(xiàn)缺陷檢測。

該算法框架中，最核心的部分為深度置信網絡的構建，DDBNs 網絡訓練的結果將直接影響最終的缺陷檢測效果。

2 網絡模型構建

該文采用的深度置信網絡的深度為三層，前兩層采用受限波爾茲曼機GRBM 模型，后一層采用判別式受限波爾茲曼機DRBM 模型。該文構建的模型示意圖如圖2 所示。此外，可見層輸入子塊維度以及判別的類別標簽數(shù)量可根據需求調整。

圖2 判別式深度置信網絡模型構建示意圖

GRBM 模型屬于隨機生成神經網絡的一種，可用于提取樣本特征。該模型采用無監(jiān)督學習方法，并獲得深度置信網絡的形態(tài)特征。深度置信網絡中包含隱藏層與可見層，任意一層中不同神經元之間無連接。同時，GRBM 模型又分為二元輸入和實值輸入兩種：第一層為實值輸入，第二層為二元輸入。

第一層與第二層GRBM 模型的能量函數(shù)定義分別為：

其中，wij表示可見層與隱藏層之間的權值參數(shù)；bi、cj分別表示可見層和隱藏層的神經元偏置量；σi表示vi的標準差；n和m分別表示可見層與隱藏層的單元數(shù)量；vi表示可見層神經元，hj表示隱藏層神經元。

對于第一層GRBM 模型，可見層和隱藏層的條件概率如下所示：

式中，δ表示Logistics 函數(shù)，其定義為：

第二層GRBM 模型的可見層和隱藏層條件概率如下所示：

不同于GRBM 模型，DRBM 模型主要是對數(shù)據進行特征提取及分類。相較于傳統(tǒng)深度學習算法，其在最后一層加上了分類器，從而有效提升算法的效率與分類準確度。DRBM 模型如圖3 所示。

圖3 DRBM模型

3 網絡模型訓練

DDBNs 網絡模型訓練主要包括預訓練與反向監(jiān)督微調。預訓練采用對比散度算法，通過最大化訓練樣本的似然度：

其中，θ1,2表示樣本的似然度。

DDBNs 網絡模型訓練采用貪婪分層算法逐層進行無監(jiān)督訓練，并將每層訓練的結果作為后一層的輸入，以此獲得樣本特征。而最后一層通過有監(jiān)督學習，利用后驗概率判別樣本的分類。

為了提高網絡模型訓練的精度，在預訓練完成后將DDBNs 網絡與Softmax 回歸層相結合，構成DNN 網絡再執(zhí)行判別，并進行反向訓練直至收斂。其結構示意圖如圖4 所示。

圖4 DNN模型結構示意圖

圖中的Softmax單元是一種適合于多類別分類的回歸模型，通常將其放于置信網絡的最后一層以提高網絡分類精度。該回歸模型的結構如圖5所示。

圖5 Softmax層模型的結構

圖5 中，fm表示由DDBNs 網絡最后一層訓練的特征向量，yk表示第k個類別樣本。特征向量與類別樣本可組合為m個訓練樣本，定義函數(shù)gj()fi表示特征向量fi屬于類別j的概率，則有：

式（9）中，θk表示深度置信網絡模型參數(shù)。將式（9）中的θk更新為θk-φ，則假設函數(shù)可更新為：

由式（10）可得，當深度置信網絡模型參數(shù)變化時，其定義的損失函數(shù)不變，說明該網絡模型存在冗余。為了去除模型冗余度，通過定義懲罰函數(shù)來進行訓練：

式中，m表示訓練樣本數(shù)量，k表示樣本類別數(shù)量，ζ(yi=j)為指示函數(shù)。

為了最小化損失函數(shù)，使用梯度下降法進行求解。對損失函數(shù)進行梯度求導：

式中，ψ(yi,j,fi,θ)定義為：

利用梯度求解計算懲罰函數(shù)的最小值，并迭代直至收斂。

信號正向傳播中第l層的第j個神經元的激活函數(shù)為：

假設網絡輸出判別結果為Oj(n)，則判別誤差可表示為：

在反向傳播過程中，輸出層與隱藏層之間的參數(shù)梯度為：

隱藏層與其他隱藏層或輸入層之間的參數(shù)梯度為：

則權值更新為：

在網絡模型訓練過程中，計算置信網絡判別結果與真實類別的誤差并進行反向傳導，且利用梯度下降算法修改網絡模型參數(shù)。網絡訓練算法的具體步驟如下：

輸入：神經元激活值xi；樣本標簽yj；權值wij；層數(shù)L；訓練迭代次數(shù)N；判別結果Oj(n)。

1）根據式（14）計算激活函數(shù)；

2）根據式（15）計算標簽判別誤差；

3）根據式（16）和式（17）計算參數(shù)梯度；

4）根據式（18）更新權值；

5）若n=N，則結束；否則轉到1），n=n+1；

輸出：網絡權值wij。

4 仿真驗證與數(shù)據分析

為了評估文中提出的基于判別式置信網絡的智能電纜軌道缺陷檢測技術，通過對比所提算法與現(xiàn)有算法的檢測正確率，同時分析多類型缺陷檢測概率來說明所提算法的有效性。

從表1 中可以看出，組合分類和自適應閾值算法缺陷檢測正確率較低；SVM 和神經網絡算法通過學習與訓練可在一定程度上提高檢測正確率，但其漏檢率較高；而所提算法在大幅提高缺陷檢測正確率的基礎上，同時還保證了誤檢率和漏檢率均處于較低水平，驗證了其具有更優(yōu)的性能。

表1 不同算法電纜軌道缺陷檢測率對比

如表2 所示，對于不同類型的電纜缺陷，該文算法均能進行有效檢測，且誤檢率與漏檢率滿足常規(guī)的工程應用要求，同時針對劃傷等具有重要隱患的缺陷檢測率有進一步提高。對于多種缺陷類型的檢測性能，說明所提算法具有較強的魯棒性與適用性。

表2 不同缺陷類型下算法性能對比

5 結束語

該文提出了一種基于判別式深度置信網絡的缺陷檢測技術，以解決智能電纜軌道缺陷檢測的實際需求。其通過構建多層深度置信網絡來進行無監(jiān)督訓練，可有效實現(xiàn)多類型缺陷檢測。相對于現(xiàn)有算法，該算法通過梯度下降法對網絡模型參數(shù)進行反向監(jiān)督訓練，更快速地實現(xiàn)了網絡收斂，且在較小樣本的情況下仍具有更優(yōu)的訓練效果與較強的適用性。而通過改變網絡深度和參數(shù)配置可進一步提高算法性能，這將有待后續(xù)的深入研究。