火電廠熱力管網(wǎng)無(wú)人機(jī)巡檢中的圖像處理與目標(biāo)檢測(cè)技術(shù)研究

國(guó)能壽光發(fā)電有限責(zé)任公司 孫 強(qiáng) 吳景軍

1 某火電廠熱力管網(wǎng)無(wú)人機(jī)巡檢的特點(diǎn)

精準(zhǔn)判斷管網(wǎng)漏點(diǎn)。無(wú)人機(jī)確認(rèn)管網(wǎng)區(qū)域后，利用紅外高清熱成像技術(shù)，實(shí)時(shí)查看表淺層的熱量分布情況，定位管網(wǎng)漏點(diǎn)，以此縮短50%檢漏時(shí)間，減少檢漏儀器、設(shè)備投入，降低管網(wǎng)泄漏造成的自來(lái)水、加熱水成本和水處理、維修成本，縮減檢漏費(fèi)用。指導(dǎo)二網(wǎng)平衡調(diào)節(jié)。針對(duì)熱力管網(wǎng)二次網(wǎng)系統(tǒng)高能耗，采用無(wú)人機(jī)巡查構(gòu)筑物通風(fēng)散熱狀態(tài)，結(jié)合溫度數(shù)據(jù)信息采集系統(tǒng)，分析構(gòu)筑物正常通風(fēng)散熱條件下，熱力管網(wǎng)高能耗的原因，針對(duì)性指導(dǎo)二網(wǎng)平衡調(diào)節(jié)，實(shí)現(xiàn)二網(wǎng)融合，助力節(jié)能降耗，減少能源浪費(fèi)。快速開(kāi)展應(yīng)急處理。針對(duì)熱力管網(wǎng)周圍存在的不安全因素及事故隱患，調(diào)度中心通過(guò)實(shí)時(shí)監(jiān)控收到智能報(bào)警，第一時(shí)間在漏損最近位置啟飛無(wú)人機(jī)，結(jié)合漏損現(xiàn)場(chǎng)畫(huà)面，于調(diào)度中心ERP平臺(tái)動(dòng)態(tài)呈現(xiàn)管網(wǎng)參數(shù)，為快速開(kāi)展應(yīng)急處理提供第一手統(tǒng)計(jì)數(shù)據(jù)[1]。

2 某火電廠熱力管網(wǎng)無(wú)人機(jī)巡檢中的圖像處理方法

2.1 圖像增強(qiáng)與濾波

2.1.1 直方圖均衡化操作

由于熱力管網(wǎng)無(wú)人機(jī)巡線過(guò)程中的回傳現(xiàn)場(chǎng)圖像，存在大部分無(wú)用背景信息，由于光線照射問(wèn)題，造成需要檢測(cè)、識(shí)別目標(biāo)的圖像灰度值，大部分集中于狹窄區(qū)域，即圖像灰度直方圖在一個(gè)狹窄范圍內(nèi)顯示。因此，為促使圖像顏色分布更廣，需要借助圖像增強(qiáng)處理，調(diào)整灰度圖像的明暗度，進(jìn)一步凸顯圖像像素細(xì)節(jié)信息，檢測(cè)和識(shí)別目標(biāo)的圖像具備更高對(duì)比度，灰度值在像素區(qū)間的分布更加均衡，圖像更加清晰。

實(shí)現(xiàn)圖像增強(qiáng)處理算法，首先需要利用遞推算法，完成灰度區(qū)積累分布函數(shù)計(jì)算?；叶然幚碛?jì)算公式為：s=T（r）=（L-1）∫0rP（rw）,0≤r≤L-1，式中：Pr（w）、T（r）為已知導(dǎo)函數(shù)連續(xù)變量；w為假積分變量；s為直方圖均衡處理后映射后的灰度；r為像素點(diǎn)灰度值；Pr為PDF概率密度函數(shù)；L為直方圖均衡化處理前的灰度級(jí)；T為遞增且單調(diào)的灰度變換函數(shù)。

通過(guò)對(duì)計(jì)算以上公式求導(dǎo)計(jì)算，得到計(jì)算公式：ds/dr=dT（r）/dr=（L-1）d/dr[∫r0Pr（w）dw]=（L-1）Pr（r），將此公式計(jì)算結(jié)果代入映射后變量s的PDF概率密度函數(shù)計(jì)算公式：Ps（s）=Pr（r）|dr/ds|，得到計(jì)算公式：Ps（s）=Pr（r）dr/ds=Pr（r）|1/（L-1）Pr（r）|=1/（L-1），0≤s≤L-1，由此公式可以了解到，Ps（s）為均勻PDF概率密度函數(shù)。

上述推導(dǎo)過(guò)程主要關(guān)于連續(xù)函數(shù)，對(duì)像素點(diǎn)的離散數(shù)值來(lái)講，得到Pr（rk）出現(xiàn)的近似概率計(jì)算公式：Pr（rk）nk/MN,k=0,1,2,…,L-1，式中：nk為灰度，代表rk具體的像素個(gè)數(shù)；MN為圖像全部像素點(diǎn)的個(gè)數(shù)總和?；叶葦?shù)值均衡化處理的計(jì)算公式為：k=0,1,2,…,L-1。

通過(guò)上述關(guān)鍵步驟，已經(jīng)對(duì)數(shù)據(jù)較為集中的暗淡圖像，完成直方圖均衡化處理，通過(guò)處理可以促使導(dǎo)線和防震錘更加清晰可見(jiàn)。

2.1.2 圖像濾波去噪

針對(duì)火電廠熱力管網(wǎng)無(wú)人機(jī)巡檢過(guò)程中的圖像濾波去噪處理來(lái)講，假如發(fā)現(xiàn)存在各種噪聲的若干張圖像，需要通過(guò)圖像濾波處理，降低噪聲對(duì)圖像產(chǎn)生的副作用，較為常見(jiàn)的圖像濾波去噪聲方法涉及均值濾波、高斯濾波、中值濾波。本次研究主要運(yùn)用高斯濾波與中值濾波完成對(duì)圖像每個(gè)像素點(diǎn)的灰度值處理，在完成求解加權(quán)后，利用歸一化操作去除圖像的高斯噪聲。圖像濾波去噪處理模板函數(shù)如下式所示：

高斯濾波利用以鐘形曲線為代表的高斯函數(shù)完成圖像的卷積操作，利用曲線的中心對(duì)稱性和單峰性，對(duì)無(wú)人機(jī)管網(wǎng)巡檢圖像進(jìn)行平滑、降噪處理。中值濾波基于排序統(tǒng)計(jì)理論，利用無(wú)人機(jī)巡檢熱力管網(wǎng)圖像區(qū)域內(nèi)中值，替換圖像中心點(diǎn)位置每個(gè)像素點(diǎn)的數(shù)值，去除部分噪聲后，產(chǎn)生簡(jiǎn)單邊緣平滑效果。對(duì)數(shù)據(jù)集中表現(xiàn)出明顯噪聲的無(wú)人機(jī)巡檢圖像展開(kāi)濾波去噪操作，采取高斯濾波和中值濾波中高效、迅速的運(yùn)算結(jié)果。

2.1.3 邊緣檢測(cè)

一階微分算子。在完成上述圖像濾波去噪處理后，使用一階微分算子邊緣檢測(cè)，借助空域微分算子，通過(guò)卷集對(duì)函數(shù)進(jìn)行求導(dǎo)，在圖像分割實(shí)踐中，通過(guò)VC++6.0實(shí)現(xiàn)。ROBERTS邊緣檢測(cè)算子計(jì)算公式如下：G[i,j]=|f[i,j]-f[i+1,j+1]|+|f[i,j]-f[i+1,j]|-f[i,j+1]）、G[i,j]=[（f[i,j]-f[i+1,j+1]）+（f[i+1,j]-f[i,j+1]）]，式中：G[i,j]為圖像邊緣檢測(cè)后的坐標(biāo)點(diǎn)像素?cái)?shù)值；（f[i,j]為圖像邊緣檢測(cè)前的坐標(biāo)點(diǎn)像素?cái)?shù)值。ROBERTS邊緣檢測(cè)算子模板如下：01-10100-1。

SOBEL邊緣檢測(cè)算子計(jì)算公式如下：ΔG=f（i-1,j+1）+2f（i,j+1）+f（i+1,j+1）-f（i-1,j-1）-2f（i,j-1）-f（i+1,j-1）、ΔG=f（i-1,j-1）+2f（i-1,j）+f（i-1,j+1）-f（i+1,j-1）-2f（i+1,j）-f（i+1,j+1），通過(guò)上述計(jì)算公式可以得出權(quán)系數(shù)矩陣模板：-1-200012310-1-20-21 0-1。

利用兩個(gè)矩陣進(jìn)行卷積，可以看出左側(cè)矩陣對(duì)圖像水平邊緣敏感，右側(cè)矩陣對(duì)圖像垂直邊緣敏感。在兩個(gè)卷積值中選擇最大的數(shù)值作為邊緣幅度值的中心點(diǎn)，獲得更好的圖像邊緣檢測(cè)效果。MARR HILDRETH邊緣檢測(cè)算子（LOG）。LOG邊緣檢測(cè)算子主要以較小算則為基礎(chǔ)，解決圖像邊緣檢測(cè)的定位精度與噪聲抑制兩個(gè)核心問(wèn)題，檢測(cè)算法如下：用一個(gè)對(duì)G（x,y）=e-(x2-y2)/2σ2取樣的n×n的高斯濾波器，輸入圖像濾波利用運(yùn)算模板：

得到無(wú)人機(jī)巡檢圖像的拉普拉斯，找到圖像關(guān)鍵特征0交叉。

在使用σ值過(guò)程中，雖然圖像呈現(xiàn)出0交叉的特征，但在LOG、DOG的0交叉上將產(chǎn)生差異化幅度大小，可以通過(guò)標(biāo)定各自幅度，確定兼容數(shù)值。為確定高斯濾波大小，采取二維高斯表面下的均值，在±3σ間的99.7%。利用大小為n×n的LOG離散濾波，的大小等于6σ的最小n值，在最小奇整數(shù)上，濾波模板將截?cái)郘OG函數(shù)，程度與模板大小呈現(xiàn)出反比例關(guān)系，使用較大的模板對(duì)算法的結(jié)果影響并不顯著。

Canny算子。Canny算子屬于計(jì)算機(jī)視覺(jué)中的多級(jí)邊緣檢測(cè)算法，在熱力管網(wǎng)無(wú)人機(jī)巡檢圖像處理過(guò)程中，可以將Canny算子歸集到一個(gè)函數(shù)中進(jìn)行調(diào)用，在效果觀察過(guò)程中，主要運(yùn)用高斯濾波進(jìn)行噪聲去除，在抗噪聲干擾和精準(zhǔn)定位過(guò)程中，尋找最佳的圖像折中處理方案，將圖像中的噪聲予以快速過(guò)濾。3×3卷積核模板為：

利用模板可以將無(wú)人機(jī)巡檢圖像中的噪聲部分進(jìn)行過(guò)濾，防止在邊緣檢測(cè)過(guò)程中，誤識(shí)別錯(cuò)誤噪聲信息。

2.2 增強(qiáng)數(shù)據(jù)集

熱力管網(wǎng)無(wú)人機(jī)巡檢過(guò)程的數(shù)據(jù)集一般約為1500張左右，大部分深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)擁有大量的參數(shù)數(shù)據(jù)，需要利用大量的學(xué)習(xí)樣本進(jìn)行參數(shù)數(shù)據(jù)的訓(xùn)練。在數(shù)據(jù)集數(shù)量較為固定的前提下，容易出現(xiàn)相似的處理圖像，在一定程度上會(huì)產(chǎn)生過(guò)擬合情況。因此，針對(duì)避免過(guò)擬合這一核心任務(wù)，需要對(duì)數(shù)據(jù)集進(jìn)行增強(qiáng)和擴(kuò)充處理?，F(xiàn)階段，常見(jiàn)管網(wǎng)巡檢圖像數(shù)據(jù)集增強(qiáng)方法，主要涉及水平、垂直翻轉(zhuǎn)，利用剪取一定面積、旋轉(zhuǎn)一定角度、縮放一定比例、變換一定視覺(jué)等完成。本次研究主要利用裁剪、旋轉(zhuǎn)等操作進(jìn)行數(shù)據(jù)集的擴(kuò)充式增強(qiáng)。

3 某火電廠熱力管網(wǎng)無(wú)人機(jī)巡檢中的目標(biāo)檢測(cè)技術(shù)

3.1 生成候選框的算法

3.1.1 BING算法

BING算法利用無(wú)人機(jī)巡線所獲得的管網(wǎng)圖像中，物體的封閉輪廓性質(zhì)，將其壓縮到較小尺寸，在圖像封閉輪廓區(qū)域梯度變化較小的前提下，計(jì)算NG特征，在訓(xùn)練階段，將36種不同的尺寸窗口，壓縮到8×8大小尺寸的空間內(nèi)，觀察特征區(qū)別，NG特征的計(jì)算公式如下：。

第一階段：使用SVM分類器進(jìn)行目標(biāo)和非目標(biāo)候選框的區(qū)分，需要在區(qū)分過(guò)程中，將無(wú)人機(jī)巡線圖像壓縮到36種具有差異的尺寸，在計(jì)算NG，特征過(guò)程中，使用SVM分類器進(jìn)行特征訓(xùn)練，在訓(xùn)練過(guò)程中的計(jì)算公式如下：Sl=〈w,gl〉、l=（i,x,y），式中：Sl為候選框的響應(yīng)環(huán)節(jié)；l為NG特征；（x,y）為候選框的具體位置；i為候選框分層層內(nèi)坐標(biāo)和層內(nèi)尺度編號(hào)。

訓(xùn)練正、負(fù)樣本來(lái)自NG特征，通過(guò)訓(xùn)練階段獲得線性模型，在改進(jìn)模型二值化特征后，可以快速加強(qiáng)BING算法的運(yùn)算速度。二值化分解運(yùn)算公式為：，通過(guò)上式，針對(duì)特征向量b，將向量取值過(guò)程簡(jiǎn)化為：，對(duì)NG特征二值化優(yōu)化，由于NG特征屬于8×8維的，因此，NG特征的點(diǎn)所對(duì)應(yīng)的特征值，需要用byte予以表示，通常來(lái)講，需要運(yùn)用三維矩陣進(jìn)行表示，在進(jìn)行移位操作過(guò)程中，需要運(yùn)用單個(gè)NG特征表示in64變量進(jìn)行存儲(chǔ)。在運(yùn)算操作過(guò)程中，需要利用二值化的線性模型和NG特征加快算法運(yùn)算速度，公式如下：。

第二階段：在第一階段中得到尺寸得分，因此，按照計(jì)算結(jié)果進(jìn)行標(biāo)簽賦分，將計(jì)算結(jié)果置放于第二個(gè)SVM分類器進(jìn)行訓(xùn)練學(xué)習(xí)，通過(guò)計(jì)算得到：ol=vi×Sl+ti，式中：vi和ti分別表示加權(quán)系數(shù)、系數(shù)偏置。在處理火電廠熱力管網(wǎng)無(wú)人機(jī)巡檢圖片過(guò)程中，可以將圖片轉(zhuǎn)換成36種大小尺寸，通過(guò)第一階段進(jìn)行候選框得分的獲取，通過(guò)第二階段得到每類最佳得分。

3.1.2 基于深度學(xué)習(xí)的Selective search算法

作為召回率較高的選擇性搜索算法，Selective search充分融合圖像分割與蠻力搜索，通過(guò)豐富的策略，對(duì)完成分割的區(qū)域進(jìn)行合并處理，通過(guò)采取層次算法，降低圖像搜索空間，降低搜索障礙，主要涉及四種關(guān)鍵的相似度合并算法。在顏色上，針對(duì)顏色相似度的計(jì)算如下：，在直方圖計(jì)算過(guò)程中，針對(duì)新區(qū)域的計(jì)算如下：

紋理相似度計(jì)算從八個(gè)方向，計(jì)算通道的高斯微分，在計(jì)算過(guò)程中，組成240維的向量，公式如下：；在計(jì)算大小相似度的過(guò)程中，需要有限進(jìn)行小區(qū)域的合并，大小主要指區(qū)域所包含的像素點(diǎn)大小，相似度的計(jì)算公式如下：

吻合相似度主要用來(lái)測(cè)試即將合并區(qū)域的吻合程度，在候選框區(qū)域大小的合并后，計(jì)算公式如下：

通過(guò)對(duì)上述四種關(guān)鍵的相似度進(jìn)行組合，得到：s（ri,rj）=a1scolour（ri,rj）+a2stexture（ri,rj）+a3ssize（ri,rj）+a4sfill（ri,rj）。

3.2 目標(biāo)檢測(cè)的網(wǎng)絡(luò)算法

YOLO算法。其在完成熱力管網(wǎng)無(wú)人機(jī)巡檢過(guò)程中，憑借簡(jiǎn)單的算法架構(gòu)，較快的速度、較高的精度，形成較低的圖像背景錯(cuò)誤識(shí)別率。在完成目標(biāo)檢測(cè)過(guò)程中，YOLO算法通過(guò)軍基層計(jì)算獲得圖像物體具體位置信息和目標(biāo)類別信息，在整體上來(lái)講，YOLO算法能夠?qū)崿F(xiàn)端到端的目標(biāo)檢測(cè)，通過(guò)對(duì)圖像特征層的網(wǎng)格像素予以編譯和解碼，能夠大幅度增加目標(biāo)檢測(cè)速度。在YOLO網(wǎng)絡(luò)結(jié)構(gòu)上，采取s×s個(gè)小方格，對(duì)圖像進(jìn)行均勻切割，通過(guò)切割獲得的方格，對(duì)候選框和物體類別概率值進(jìn)行預(yù)測(cè)。每個(gè)候選框和物體的預(yù)測(cè)概率在計(jì)算過(guò)程中的公式為：。

SSD改進(jìn)算法。SSD網(wǎng)絡(luò)模型充分結(jié)合YOLO算法中的卷積神經(jīng)網(wǎng)絡(luò)思想，在特征圖上通過(guò)設(shè)計(jì)默認(rèn)框，促使SSD網(wǎng)絡(luò)模型采用FPN特征金字塔結(jié)構(gòu)進(jìn)行檢測(cè)，輸出已經(jīng)定義好的矩形框，提取圖像中不同特征，能夠快速、有效地將低分辨率和高語(yǔ)義的信息進(jìn)行提取，在檢測(cè)速度上更快、精度上更高。