融合LSD算法與深度學(xué)習(xí)的開關(guān)狀態(tài)檢測(cè)方法

林本豐，王 呈，孫悅程

1.江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無(wú)錫214122

2.無(wú)錫市工業(yè)設(shè)備安裝有限公司，江蘇 無(wú)錫214122

公用設(shè)施設(shè)備種類多，分布分散，日常巡視目前大部分仍依賴人工完成。物聯(lián)網(wǎng)技術(shù)能夠?qū)崿F(xiàn)設(shè)備運(yùn)行狀態(tài)遠(yuǎn)程監(jiān)測(cè)，對(duì)于加裝傳感器或已配備數(shù)據(jù)接口的設(shè)施設(shè)備，可以通過(guò)集成網(wǎng)關(guān)和總線技術(shù)遠(yuǎn)程采集運(yùn)行數(shù)據(jù)，實(shí)現(xiàn)設(shè)施設(shè)備智能化改造。隨著人員工資普漲，越來(lái)越多的維保單位引入巡檢機(jī)器人，完成類似機(jī)房、隧道等現(xiàn)場(chǎng)環(huán)境及設(shè)備狀態(tài)的監(jiān)測(cè)。巡檢機(jī)器人輔助視覺(jué)分析無(wú)需改造原有設(shè)備，適用一些未配備數(shù)據(jù)接口且加裝傳感器、改造成本較高的場(chǎng)景。本文即從巡檢機(jī)器人應(yīng)用的角度，針對(duì)變電所控制柜開關(guān)狀態(tài)檢測(cè)，展開機(jī)器視覺(jué)算法研究。

圖像視頻中的目標(biāo)檢測(cè)已經(jīng)成為當(dāng)前人工智能、機(jī)器視覺(jué)研究領(lǐng)域的熱點(diǎn)[1-3]。直線段作為輸入圖像中底層圖像特征，包含了場(chǎng)景中最基本的幾何信息和拓?fù)湫畔4]，可以作為檢測(cè)圖像高層特征或分析圖像內(nèi)容的基礎(chǔ)。相較特征點(diǎn)或邊緣曲線等傳統(tǒng)圖像特征，直線段包含更豐富的信息，如直線段角度、中心點(diǎn)等。文獻(xiàn)[5]提出基于正則化Hough變換的圖像直線檢測(cè)方法，在檢測(cè)直線信息時(shí)受直線中的間隙和圖像中的高斯噪聲影響較小，但因?yàn)椴捎谩耙粚?duì)多”匹配算法導(dǎo)致占用空間大，檢測(cè)實(shí)時(shí)性不高。文獻(xiàn)[6]提出一種基于改進(jìn)Hough變換的直線快速檢測(cè)算法，該算法利用相鄰像素點(diǎn)的聚類和Hough變換原理來(lái)檢測(cè)直線，加快了檢測(cè)速率，但需要調(diào)整累加平面閾值、線段最大間隔值、搜索步進(jìn)精度值等參數(shù)才能保證檢測(cè)準(zhǔn)確率。文獻(xiàn)[7]提出一種基于局部直線提取的直線段檢測(cè)器算法（Line Segment Detector，LSD），具有參數(shù)自適應(yīng)能力，能同時(shí)提高檢測(cè)速度，并達(dá)到亞像素級(jí)檢測(cè)精度。LSD無(wú)需調(diào)試參數(shù)，能夠自行控制誤檢數(shù)量，誤檢率低，對(duì)不同圖像適應(yīng)性強(qiáng)。文獻(xiàn)[8]通過(guò)LSD算法提取出遙感圖像中的有效直線特征，實(shí)現(xiàn)對(duì)多類機(jī)場(chǎng)跑道的有效定位。

深度學(xué)習(xí)作為圖像識(shí)別的重要方法，在無(wú)人工干預(yù)的條件下通過(guò)自主學(xué)習(xí)優(yōu)化檢測(cè)模型實(shí)現(xiàn)目標(biāo)識(shí)別[9]，目前主流的深度學(xué)習(xí)算法分為兩階段目標(biāo)檢測(cè)算法以及單階段目標(biāo)檢測(cè)算法?；诰矸e神經(jīng)網(wǎng)絡(luò)的兩階段目標(biāo)檢測(cè)算法以R-CNN（Region Convolutional Neural Networks）[10-12]系列為代表，能實(shí)現(xiàn)高精度目標(biāo)檢測(cè)[13]，但檢測(cè)速度過(guò)慢。為解決兩階段檢測(cè)器的檢測(cè)實(shí)時(shí)性問(wèn)題，具備高速檢測(cè)性能的單階段檢測(cè)器應(yīng)運(yùn)而生[14]。Redmon等人在2016年CVPR（Conference on Computer Vision and Pattern Recognition）上提出基于卷積神經(jīng)網(wǎng)絡(luò)的單階段目標(biāo)檢測(cè)算法YOLO（You Only Look Once）[15]，具有檢測(cè)速率快、精度高的特點(diǎn)。最新的YOLOv3算法采用特征融合和多尺度預(yù)測(cè)，大幅提升了檢測(cè)速度和精度，但其網(wǎng)絡(luò)分類器是針對(duì)COCO（Microsoft Common Objects in Context）數(shù)據(jù)集80類檢測(cè)對(duì)象設(shè)計(jì)的，當(dāng)面向少數(shù)量類別目標(biāo)檢測(cè)時(shí)會(huì)浪費(fèi)部分網(wǎng)絡(luò)計(jì)算資源。文獻(xiàn)[16]針對(duì)目標(biāo)檢測(cè)的需求修改YOLO網(wǎng)絡(luò)分類器進(jìn)行重新聚類，并加強(qiáng)網(wǎng)絡(luò)分辨率來(lái)適應(yīng)高分辨率的航拍圖像，研究成果應(yīng)用于無(wú)人機(jī)航拍圖像定位場(chǎng)景，但檢測(cè)存在時(shí)延。文獻(xiàn)[17]通過(guò)殘差網(wǎng)絡(luò)及多尺度融合方式，增強(qiáng)了低空無(wú)人機(jī)定位效果與實(shí)時(shí)性。

從考慮網(wǎng)絡(luò)帶寬和傳輸時(shí)延的角度出發(fā)，實(shí)現(xiàn)巡檢機(jī)器人視覺(jué)檢測(cè)應(yīng)用落地具體有兩類方式。（1）在具備高帶寬、低時(shí)延數(shù)據(jù)傳輸條件下，通過(guò)巡檢機(jī)器人將現(xiàn)場(chǎng)圖像數(shù)據(jù)直接傳輸至云端，依靠云計(jì)算實(shí)現(xiàn)基于圖像分析的公用設(shè)施設(shè)備的遠(yuǎn)程狀態(tài)監(jiān)控；（2）通過(guò)邊緣設(shè)備采集工業(yè)現(xiàn)場(chǎng)圖像數(shù)據(jù)，并依靠邊緣計(jì)算能力提高設(shè)備狀態(tài)分析的實(shí)時(shí)性，分析結(jié)果與云端協(xié)同。文獻(xiàn)[18]提出應(yīng)用于嵌入式GPU（Graphics Processing Unit）的實(shí)時(shí)目標(biāo)檢測(cè)算法，通過(guò)優(yōu)化YOLOv3框架實(shí)現(xiàn)嵌入式端的車輛目標(biāo)實(shí)時(shí)檢測(cè)。文獻(xiàn)[19]提出基于YOLO和嵌入式系統(tǒng)的車流量檢測(cè)，也將YOLO算法成功移植嵌入式設(shè)備，但是上述方法均需建立龐大的數(shù)據(jù)集，人工標(biāo)注數(shù)據(jù)集的時(shí)間成本與人力成本較大。本文借鑒上述文獻(xiàn)中直線特征提取方法并受深度學(xué)習(xí)應(yīng)用啟發(fā)，通過(guò)LSD直線提取算法快速定位電柜開關(guān)盒生成圖像數(shù)據(jù)集，同時(shí)將數(shù)據(jù)集輸入到Y(jié)OLO深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練生成開關(guān)狀態(tài)檢測(cè)模型。此外本文嘗試將YOLOv3深度學(xué)習(xí)網(wǎng)絡(luò)部署到邊緣嵌入式設(shè)備，依靠邊緣計(jì)算提高目標(biāo)檢測(cè)實(shí)時(shí)性。

1 開關(guān)狀態(tài)檢測(cè)方案設(shè)計(jì)

變電所電柜開關(guān)盒位于控制柜設(shè)備上，具有矩形圖形特征，周圍存在按鈕、銘牌等多個(gè)對(duì)象，如圖1所示。若不先對(duì)開關(guān)盒進(jìn)行定位，則在判斷開關(guān)狀態(tài)時(shí)會(huì)受到周圍銘牌等多個(gè)對(duì)象干擾，影響深度學(xué)習(xí)的目標(biāo)檢測(cè)效果。

圖1 工業(yè)現(xiàn)場(chǎng)控制柜圖像Fig.1 Industrial field control cabinet image

因此，本文將開關(guān)狀態(tài)檢測(cè)方案設(shè)計(jì)分為L(zhǎng)SD直線檢測(cè)算法快速定位開關(guān)盒和訓(xùn)練深度學(xué)習(xí)模型實(shí)現(xiàn)開關(guān)狀態(tài)檢測(cè)兩部分。先提取控制柜圖像中的直線邊沿特征完成快速定位開關(guān)盒，生成對(duì)應(yīng)數(shù)據(jù)集。再將數(shù)據(jù)集輸入到深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練生成檢測(cè)模型，識(shí)別開關(guān)盒工作狀態(tài)，如圖2所示。

圖2 開關(guān)狀態(tài)邊緣檢測(cè)方案框圖Fig.2 Block diagram of switch state edge detection scheme

考慮公用設(shè)施設(shè)備施工安裝的特點(diǎn)，往往到工程安裝結(jié)束，才可以進(jìn)行現(xiàn)場(chǎng)調(diào)試，從建立圖像集、識(shí)別訓(xùn)練到系統(tǒng)上線，往往耗時(shí)較長(zhǎng)。而BIM（Building Information Modeling）技術(shù)近年來(lái)在機(jī)電安裝、運(yùn)維中快速應(yīng)用，如圖3，為控制柜的BIM模型。本文在BIM數(shù)字化孿生研究的基礎(chǔ)上，進(jìn)一步探索采用BIM圖像數(shù)據(jù)集來(lái)訓(xùn)練模型，以縮短圖像識(shí)別的落地時(shí)間，并將模型應(yīng)用于實(shí)際視覺(jué)分析場(chǎng)景，驗(yàn)證算法的魯棒性。

圖3 對(duì)應(yīng)實(shí)際場(chǎng)景的控制柜BIM模型圖像Fig.3 BIM model image of control cabinet corresponding to actual scene

2 開關(guān)狀態(tài)檢測(cè)方案設(shè)計(jì)

分析結(jié)矩形開關(guān)盒含有明顯直線段信息。為準(zhǔn)確提取開關(guān)盒邊沿，先采用高斯濾波器對(duì)圖像進(jìn)行降噪預(yù)處理，完成圖像預(yù)處理后對(duì)圖像直線段進(jìn)行提取與篩選，實(shí)現(xiàn)準(zhǔn)確框定開關(guān)盒位置，快速生成數(shù)據(jù)集。常用直線段檢測(cè)算法有霍夫直線檢測(cè)（Hough Line Detection）算法[6]和LSD直線檢測(cè)算法[7]。

霍夫直線檢測(cè)原理是將圖像中的像素點(diǎn)通過(guò)映射方式投影到以參數(shù)為坐標(biāo)的空間，將圖像空間中的每條直線轉(zhuǎn)化為參數(shù)空間中的一個(gè)點(diǎn)，而圖像空間中的點(diǎn)也與參數(shù)空間中的直線相互對(duì)應(yīng)，如圖4所示。圖像空間中直線方程y=kx+b在參數(shù)空間中可寫成ρ=xcosθ+ysinθ，其中ρ是圖像空間中原點(diǎn)o到直線y=kx+b的距離，θ是直線y=kx+b的垂線om與x軸正向的夾角，圖像空間中的點(diǎn)(x1,y1)與(x2,y2)被映射為極坐標(biāo)空間中的兩條正弦曲線，而圖像空間中的直線參數(shù)信息對(duì)應(yīng)參數(shù)空間中兩條曲線的交點(diǎn)(ρ',θ')。

圖4 圖像空間對(duì)應(yīng)參數(shù)空間示意圖Fig.4 Schematic diagram of corresponding parameter space in image space

通過(guò)尋找參數(shù)空間中的曲線交點(diǎn)來(lái)確定圖像空間中的直線參數(shù)，根據(jù)設(shè)定的間隙寬度和直線長(zhǎng)度閾值篩選出直線段，并且此方法對(duì)直線段殘缺部分以及噪聲部分具有良好的過(guò)濾能力。因此在檢測(cè)開關(guān)盒直線段信息時(shí)，只需確定參數(shù)空間中曲線交集處即可得到控制柜圖像中直線段信息。

LSD算法通過(guò)局部邊緣檢測(cè)進(jìn)行像素合并實(shí)現(xiàn)直線段檢測(cè)。先將輸入圖像尺度縮小至原來(lái)的80%，能有效減弱甚至消除圖像中的鋸齒效應(yīng)（staircase effect），再對(duì)圖像進(jìn)行高斯降采樣，通過(guò)高斯核濾波實(shí)現(xiàn)鋸齒效應(yīng)和圖像模糊之間的平衡。為減少梯度計(jì)算過(guò)程中相關(guān)像素間的依賴，梯度計(jì)算使用2×2模板，設(shè)i(x,y)為圖像像素點(diǎn)(x,y)的灰度值，gx(x,y)與gy(x,y)分別為x方向與y方向梯度值，圖像的梯度由下列公式計(jì)算得到：

水平線（level-line）角度Langle由下式計(jì)算得到：

圖像梯度的幅值G(x,y)由下式計(jì)算得到：

LSD算法對(duì)控制柜圖像中不同像素點(diǎn)梯度幅值進(jìn)行排序，梯度幅值越高表明其像素點(diǎn)所在區(qū)域具有較強(qiáng)邊緣特征。而梯度幅值越小則表明像素點(diǎn)所在區(qū)域趨于平坦或?yàn)樵肼晠^(qū)域。再通過(guò)搜索周圍區(qū)域未使用的像素點(diǎn)來(lái)確定是否加入線段支持區(qū)域，當(dāng)水平線角度和區(qū)域角度θregion小于角度容忍度τ時(shí)將該水平線添加到線段支持區(qū)域中，保證輸出直線段不包含較暗區(qū)域與邊緣干擾線段。

本文將對(duì)以上兩種直線檢測(cè)算法進(jìn)行測(cè)試，通過(guò)比較直線檢出率RD、直線重復(fù)率RR、直線斷裂率RF、誤檢率RE等檢測(cè)結(jié)果，選取合適的直線檢測(cè)算法對(duì)開關(guān)盒邊沿進(jìn)行直線提取。其中直線檢出率、重復(fù)率、直線斷裂率的計(jì)算公式為：

式中，Ndetected為檢測(cè)到的直線段數(shù)量；Nall為圖像中所有直線段數(shù)量；Nrepeat為檢測(cè)到原屬于同一直線段的重疊直線段數(shù)量；Nfracture為檢測(cè)到原屬于同一直線段的分裂直線段數(shù)量；Nerror為錯(cuò)誤檢測(cè)的直線段數(shù)量。

確定直線檢測(cè)算法后再對(duì)檢測(cè)到的直線段進(jìn)行篩選，過(guò)濾長(zhǎng)度過(guò)短、過(guò)長(zhǎng)或者傾斜較大的直線段，并根據(jù)開關(guān)盒周圍顏色分布情況，對(duì)直線段周圍顏色區(qū)域進(jìn)行HSV（Hue，Saturation，Value）分割，過(guò)濾錯(cuò)誤顏色區(qū)域直線段，縮小開關(guān)盒邊沿判斷區(qū)域，實(shí)現(xiàn)準(zhǔn)確定位開關(guān)盒。直線檢測(cè)算法提取開關(guān)盒邊沿的具體流程如圖5所示。

圖5 直線段檢測(cè)提取開關(guān)盒邊沿流程圖Fig.5 Flow chart of line segment detection and extraction of switch box edges

3 基于YOLOv3深度學(xué)習(xí)的開關(guān)狀態(tài)檢測(cè)

為實(shí)現(xiàn)變電所弱電柜開關(guān)運(yùn)行狀態(tài)監(jiān)測(cè)，需要在深度學(xué)習(xí)框架下建立開關(guān)狀態(tài)檢測(cè)模型。在常用的深度學(xué)習(xí)方法中，R-CNN系列提出的候選區(qū)（Region Proposals）方法通過(guò)比較顏色相似性、紋理相似性、尺寸相似性和形狀兼容性，從圖片中搜索出一些可能存在對(duì)象的候選區(qū)（Selective Search），再對(duì)每個(gè)候選區(qū)進(jìn)行檢測(cè)。但R-CNN系列對(duì)GPU環(huán)境要求較高，在檢測(cè)速率上也難以達(dá)到實(shí)時(shí)效果。而YOLO作為基于回歸的端對(duì)端神經(jīng)網(wǎng)絡(luò)，在單個(gè)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上通過(guò)回歸的方式對(duì)目標(biāo)進(jìn)行檢測(cè)。其中卷積層負(fù)責(zé)提取圖像特征信息，全連接層對(duì)檢測(cè)對(duì)象的位置與類別進(jìn)行置信度預(yù)測(cè)。在實(shí)時(shí)檢測(cè)的基礎(chǔ)上能夠保證較高的檢測(cè)精度，適用于本文應(yīng)用場(chǎng)景。

YOLOv3作為YOLO系列最新算法，采用特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）思想，對(duì)13×13、26×26、52×52不同尺度特征圖上的特征檢測(cè)效果進(jìn)行優(yōu)化，并基于殘差網(wǎng)絡(luò)提出Darknet-53網(wǎng)絡(luò)結(jié)構(gòu)，每個(gè)卷積層由二維卷積層、BN（Batch Normalization）層和Leaky ReLU（Rectified Linear Unit）激活函數(shù)組成。Darknet-53的網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

圖6 Darknet-53網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.6 Darknet-53 network structure diagram

網(wǎng)絡(luò)中每個(gè)bounding box都包含本身的中心坐標(biāo)信息、相對(duì)于整個(gè)圖片的長(zhǎng)寬比例信息以及置信度信息。在S×S網(wǎng)格中，每個(gè)網(wǎng)格需要預(yù)測(cè)B個(gè)bounding box與C個(gè)類別概率。最后輸出S×S×( )5×B+C的張量。YOLO的損失函數(shù)可表示為：EIOU為重疊面積誤差，Eclass為分類誤差，Ec預(yù)測(cè)坐標(biāo)信息與標(biāo)記位置誤差。其中坐標(biāo)損失函數(shù)為：

式中，λcoord為誤差權(quán)重系數(shù)，xi、yi、wi、hi分別代表回歸后的坐標(biāo)信息與長(zhǎng)寬偏移信息。為標(biāo)定階段的信息。

在本文應(yīng)用中，YOLOv3算法無(wú)需檢測(cè)多類目標(biāo)，只需檢測(cè)開關(guān)狀態(tài)為橫向、縱向與斜向三種情況。為減少網(wǎng)絡(luò)計(jì)算量，加快訓(xùn)練效率，可以對(duì)YOLOv3中的類Anchor機(jī)制（使用anchor boxes[20]作為先驗(yàn)框?qū)δ繕?biāo)進(jìn)行檢測(cè)的機(jī)制）進(jìn)行優(yōu)化。先驗(yàn)框設(shè)立初衷是為提高IOU（Intersection over Union），即預(yù)測(cè)框與原標(biāo)記目標(biāo)位置之間交集與并集的比值，如圖7所示。IOU計(jì)算公式為：

圖7 IOU概念圖Fig.7 IOU concept map

原始Anchor機(jī)制是針對(duì)COCO數(shù)據(jù)集進(jìn)行K-means聚類確定的，聚類得出面向COCO數(shù)據(jù)集中80個(gè)檢測(cè)對(duì)象的模板框個(gè)數(shù)k為9，但并不適用于本文的開關(guān)狀態(tài)檢測(cè)對(duì)象，需要對(duì)k值進(jìn)行重新計(jì)算。針對(duì)包含三種分類情況的開關(guān)狀態(tài)數(shù)據(jù)集，重新進(jìn)行K-means聚類，比較不同k值下的IOU，選取IOU變化幅度最低處k值作為此次訓(xùn)練的參數(shù)。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 開關(guān)盒快速框定實(shí)驗(yàn)

為比較霍夫直線檢測(cè)與LSD直線段檢測(cè)在開關(guān)盒邊沿檢測(cè)上的優(yōu)劣性，使用Python2.7調(diào)用OpenCV代碼在BIM環(huán)境下對(duì)控制柜圖像分別進(jìn)行霍夫直線檢測(cè)與LSD直線檢測(cè)。首先通過(guò)高斯濾波器對(duì)原圖像數(shù)據(jù)進(jìn)行降噪預(yù)處理，實(shí)現(xiàn)了對(duì)圖像噪聲的過(guò)濾，具體圖像濾波效果如圖8所示。

圖8 高斯濾波器降噪預(yù)處理效果Fig.8 Noise reduction preprocessing effect of Gaussian filter

針對(duì)預(yù)處理后的圖像直接進(jìn)行霍夫直線檢測(cè)與LSD直線檢測(cè)。由圖9可以看到，LSD直線檢測(cè)數(shù)量明顯多于霍夫直線。

圖9 不同算法檢測(cè)開關(guān)盒邊沿效果圖像Fig.9 Different algorithms detecting edge image of switch box

通過(guò)比較兩個(gè)直線檢測(cè)算法效果圖中的直線檢出率、重復(fù)率、直線斷裂率、誤檢率、直線提取數(shù)量和算法運(yùn)行時(shí)間可以得到如表1的數(shù)據(jù)?？梢源_定LSD在開關(guān)盒邊沿提取中直線提取數(shù)量?jī)?yōu)于霍夫直線提取，并且誤檢、漏檢以及直線斷裂數(shù)量均少于霍夫直線檢測(cè)。因此最終選取LSD進(jìn)行開關(guān)盒邊沿檢測(cè)。

表1 基于不同直線檢測(cè)算法的直線段檢測(cè)結(jié)果Table 1 Line segment detection results based on different line detection algorithms

針對(duì)LSD直線檢測(cè)后的圖像，需要對(duì)圖像中非控制柜邊沿部分進(jìn)行過(guò)濾。為此，對(duì)直線段的角度偏移量、直線長(zhǎng)度閾值以及斷點(diǎn)之間最大閾值進(jìn)行限定，如圖10（a）所示。在過(guò)濾后的直線段信息中，對(duì)周圍的HSV圖像空間進(jìn)行分析，根據(jù)開關(guān)盒本身黑色以及周圍白色的特點(diǎn)，對(duì)直線段進(jìn)行二次過(guò)濾，并將檢測(cè)結(jié)果通過(guò)不同顏色標(biāo)記出開關(guān)盒不同位置的邊沿，如圖10（b）所示。

圖10 不同過(guò)濾條件下檢測(cè)開關(guān)盒邊沿效果圖像Fig.10 Detection of switch box edge effect images under different filtering conditions

通過(guò)輸入不同角度下控制柜圖像，保證在不同視角下都能實(shí)現(xiàn)準(zhǔn)確框定開關(guān)盒，同時(shí)以圖像左上角為坐標(biāo)零點(diǎn)，在每個(gè)框定對(duì)象上輸出坐標(biāo)位置信息，并根據(jù)檢測(cè)結(jié)果不斷優(yōu)化直線段篩選條件。最終開關(guān)盒位置框定效果如圖11所示。

圖11 不同角度下LSD算法框定開關(guān)盒效果圖Fig.11 LSD algorithm frame switch box renderings under different angles

本文訓(xùn)練模型所用圖片數(shù)據(jù)均來(lái)自于由無(wú)錫市工業(yè)設(shè)備安裝有限公司提供的無(wú)錫某隧道變電所BIM模型，無(wú)需采集現(xiàn)場(chǎng)圖像，節(jié)約了時(shí)間與人力成本。為進(jìn)一步優(yōu)化標(biāo)注流程，本文對(duì)標(biāo)注工具LabelImg進(jìn)行源碼優(yōu)化，通過(guò)python編寫LSD直線檢測(cè)算法的接口，接入到LabelImg標(biāo)注工具中canvas.py文件下mouseDouble-ClickEvent觸發(fā)函數(shù)中，實(shí)現(xiàn)在LabelImg成功載入圖像后，雙擊圖片即可實(shí)現(xiàn)LSD算法自動(dòng)框定開關(guān)盒對(duì)象并保存目標(biāo)坐標(biāo)與長(zhǎng)寬信息的功能。同時(shí)保留原有的人工框定功能，防止自動(dòng)框定時(shí)出現(xiàn)漏檢情況。

在完成框定開關(guān)盒的基礎(chǔ)上制作圖像數(shù)據(jù)集時(shí)，由于LSD算法在實(shí)現(xiàn)自動(dòng)框定目標(biāo)的基礎(chǔ)上無(wú)法實(shí)現(xiàn)自動(dòng)標(biāo)注，而單個(gè)控制柜上的開關(guān)盒對(duì)象數(shù)量較多，并且本文需要針對(duì)開關(guān)狀態(tài)有橫向開關(guān)、縱向開關(guān)和斜向開關(guān)三種情況進(jìn)行標(biāo)注，因此在處理少量圖片數(shù)據(jù)時(shí)，LSD算法框定與人工作業(yè)框定時(shí)間差距不太明顯。但是在面對(duì)多數(shù)量目標(biāo)以及大量圖像數(shù)據(jù)時(shí)，LSD算法自動(dòng)框定目標(biāo)可以大幅度減少人工作業(yè)時(shí)間。通過(guò)比較人工框定與LSD自動(dòng)框定不同張數(shù)圖片生成坐標(biāo)數(shù)據(jù)文件的時(shí)間，可以看出LSD框定大幅度提高目標(biāo)框定效率，降低數(shù)據(jù)集生成時(shí)間成本，如表2所示。

表2 人工框定與LSD框定處理耗時(shí)比較Table 2 Comparison of time consuming between manual framing and LSD framing s

4.2 開關(guān)狀態(tài)檢測(cè)實(shí)驗(yàn)

為優(yōu)化網(wǎng)絡(luò)訓(xùn)練效率，減少計(jì)算量負(fù)荷，本文針對(duì)不同k值下的IOU大小進(jìn)行合理的k值篩選，選取范圍k=[1，9]，而K-means聚類算法是一個(gè)不斷迭代的過(guò)程，以k值為7時(shí)為例，在一定迭代次數(shù)后得到最終聚類結(jié)果，如圖12所示，圖中x和y代表數(shù)據(jù)集中框定位置長(zhǎng)寬信息歸一化后的數(shù)值。圖12（a）中藍(lán)色十字為原始數(shù)據(jù)，圖12（b）中紅點(diǎn)為初始聚類中心，圖12（c）中黑點(diǎn)為最終聚類中心，不同顏色為不同類簇。

圖12 K-means算法迭代過(guò)程Fig.12 K-means algorithm iteration process

同時(shí)記錄不同k值下對(duì)應(yīng)的IOU值，具體結(jié)果如圖13所示?？梢缘玫絢值在7時(shí)，曲線趨于平緩，無(wú)太大抖動(dòng)。

圖13 IOU-k折線圖Fig.13 IOU-k line chart

在確定訓(xùn)練參數(shù)k后，將數(shù)據(jù)集圖像輸入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行卷積特征提取，包含橫向、縱向與斜向開關(guān)三種不同分類情況的不同層卷積特征圖如圖14所示。本次實(shí)驗(yàn)結(jié)果通過(guò)比較訓(xùn)練中Loss值隨迭代次數(shù)變化曲線以及訓(xùn)練過(guò)程中IOU變化曲線來(lái)對(duì)訓(xùn)練效果進(jìn)行評(píng)估。同時(shí)將YOLOv3訓(xùn)練得到的模型在同一環(huán)境下與Faster R-CNN、SSD（Single Shot MultiBox Detector）算法進(jìn)行檢測(cè)速度比較，實(shí)現(xiàn)多方位的檢測(cè)效果評(píng)估。

圖14 不同層卷積特征圖Fig.14 Convolution characteristic diagram of different layers

4.2.1 Loss值隨迭代次數(shù)變化分析

在整個(gè)YOLOv3網(wǎng)絡(luò)訓(xùn)練過(guò)程中，Loss值的大小代表訓(xùn)練過(guò)程中損失函數(shù)值的大小，以0為其最優(yōu)期望值。在本文進(jìn)行的深度學(xué)習(xí)訓(xùn)練中將初始參數(shù)進(jìn)行如下調(diào)整，學(xué)習(xí)率設(shè)置為0.001，steps=10 000，15 000，scales=0.1，0.1下迭代5 000次。整個(gè)訓(xùn)練過(guò)程中，如果訓(xùn)練方向正確，則損失函數(shù)Loss值會(huì)呈現(xiàn)出一個(gè)由高向低的變化。如圖15所示，在前100次到4 000次迭代過(guò)程，損失函數(shù)值從初始的高峰值突然下降到接近1.0的數(shù)值，說(shuō)明整體訓(xùn)練方向正確，數(shù)據(jù)集以及網(wǎng)絡(luò)配置文件中的參數(shù)均為正常，而在1 000到4 000輪迭代變化中，下降速度減緩，但在初始學(xué)習(xí)率下也同樣保持了一個(gè)快速收斂下降的趨勢(shì)，并且也未出現(xiàn)下降速率過(guò)慢導(dǎo)致陷入局部最優(yōu)值的情況。在訓(xùn)練次數(shù)達(dá)到10 000次的時(shí)候，學(xué)習(xí)率降低初始設(shè)定值的0.1，Loss值下降速度逐漸延緩，此時(shí)能有效地防止學(xué)習(xí)率過(guò)大導(dǎo)致訓(xùn)練迭代值越過(guò)最優(yōu)值或者出現(xiàn)訓(xùn)練發(fā)散的現(xiàn)象。迭代次數(shù)達(dá)到15 000次之后，損失函數(shù)Loss值無(wú)限接近最優(yōu)期望值條件并且?guī)缀醪辉俪霈F(xiàn)波動(dòng)變化，趨于穩(wěn)定狀態(tài)，此時(shí)無(wú)需再進(jìn)行大量迭代。

圖15 Loss值變化圖Fig.15 Variation diagram of Loss value

4.2.2 IOU實(shí)驗(yàn)數(shù)值分析

IOU指的是在整個(gè)深度學(xué)習(xí)模型訓(xùn)練過(guò)程中，產(chǎn)生的候選框與原標(biāo)記框之間交集與并集的比值大小，最優(yōu)期望值為1，而IOU值的獲取方式則是從訓(xùn)練過(guò)程中記錄訓(xùn)練數(shù)據(jù)的日志文件中獲取。獲取原始IOU數(shù)據(jù)后，通過(guò)滑動(dòng)平均對(duì)所有數(shù)據(jù)進(jìn)行處理，獲取較為準(zhǔn)確的IOU值。如圖16所示，IOU值伴隨著迭代次數(shù)增長(zhǎng)呈現(xiàn)穩(wěn)定的上升趨勢(shì)，從第1輪到50 000輪，IOU值急劇增長(zhǎng)，代表訓(xùn)練中候選框在預(yù)測(cè)開關(guān)盒位置信息上的能力不斷上升。達(dá)到50 000輪以后，整個(gè)數(shù)值增長(zhǎng)不再波動(dòng)，趨勢(shì)逐漸平穩(wěn)，IOU值無(wú)限接近最優(yōu)期望值，候選框與原標(biāo)記框兩者位置接近重合，此時(shí)訓(xùn)練得到的權(quán)重模型已經(jīng)能準(zhǔn)確框定開關(guān)盒位置。

圖16 IOU值變化圖Fig.16 Graph of IOU values

4.2.3 不同算法實(shí)時(shí)性比較

目前在工業(yè)環(huán)境下，深度學(xué)習(xí)應(yīng)用中較為常用的目標(biāo)檢測(cè)方法有Faster R-CNN、SSD和YOLO三種。為對(duì)本文中YOLOv3算法檢測(cè)開關(guān)狀態(tài)進(jìn)行實(shí)時(shí)性評(píng)估，對(duì)以上三種方法進(jìn)行檢測(cè)時(shí)間成本的對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖17所示。從圖中可以明顯看出，相比于FasterR-CNN算和SSD算法，YOLOv3算法能大幅度減少檢測(cè)時(shí)間，能在工業(yè)環(huán)境下為準(zhǔn)確識(shí)別開關(guān)狀態(tài)實(shí)時(shí)提供保障。

圖17 不同算法下開關(guān)狀態(tài)檢測(cè)時(shí)間對(duì)比圖Fig.17 Comparison diagram of switching state detection time under different algorithms

4.2.4 開關(guān)狀態(tài)檢測(cè)器綜合指標(biāo)分析

通過(guò)比較Loss曲線的波動(dòng)變化，選取迭代15 000次時(shí)的權(quán)重文件作為最終檢測(cè)模型。將驗(yàn)證集與測(cè)試集數(shù)據(jù)分別輸入到Y(jié)OLOv3網(wǎng)絡(luò)經(jīng)過(guò)權(quán)重模型進(jìn)行識(shí)別，比較漏檢、誤檢的數(shù)量，計(jì)算得到開關(guān)狀態(tài)識(shí)別準(zhǔn)確率，如表3所示。

表3 開關(guān)狀態(tài)檢測(cè)器檢測(cè)結(jié)果分析Table 3 Analysis of detection results of switch state detector

從表中可以看到，開關(guān)狀態(tài)檢測(cè)精度到達(dá)了98.3%的準(zhǔn)確率。并且實(shí)驗(yàn)中PC端不依賴GPU環(huán)境能達(dá)到33 frame/s的檢測(cè)速度。在面向不同尺寸開關(guān)盒時(shí)，都能達(dá)到良好的檢測(cè)效果，如圖18所示。

圖18 BIM環(huán)境下開關(guān)狀態(tài)檢測(cè)器結(jié)果示例圖Fig.18 Example diagram of switch state detector results in BIM environment

為驗(yàn)證本文提出的融合LSD直線檢測(cè)與深度學(xué)習(xí)網(wǎng)絡(luò)的開關(guān)狀態(tài)檢測(cè)方案在面向移植嵌入式設(shè)備上具有適應(yīng)性，采用NVIDIA Jetson TX2作為嵌入式設(shè)備移植對(duì)象，將深度學(xué)習(xí)框架與權(quán)重模型文件移植到嵌入式設(shè)備。為探究基于BIM模型數(shù)據(jù)集的訓(xùn)練模型能否應(yīng)用于實(shí)際環(huán)境下的視覺(jué)檢測(cè)，將真實(shí)環(huán)境下工業(yè)控制柜圖像輸入到深度學(xué)習(xí)網(wǎng)絡(luò)通過(guò)權(quán)重模型進(jìn)行識(shí)別。結(jié)果表明，BIM環(huán)境下訓(xùn)練得到的深度學(xué)習(xí)模型在識(shí)別真實(shí)環(huán)境下的設(shè)備開關(guān)狀態(tài)具有良好的適應(yīng)性，如圖19所示。

圖19 真實(shí)環(huán)境下開關(guān)狀態(tài)檢測(cè)器結(jié)果圖Fig.19 Results of switch state detector in real environment

5 結(jié)論

本文面向工業(yè)現(xiàn)場(chǎng)針對(duì)控制柜設(shè)備上的開關(guān)盒進(jìn)行工作狀態(tài)監(jiān)測(cè)，在BIM環(huán)境下通過(guò)LSD直線檢測(cè)快速生成開關(guān)狀態(tài)數(shù)據(jù)集，并輸入到Y(jié)OLOv3深度學(xué)習(xí)網(wǎng)絡(luò)生成開關(guān)狀態(tài)檢測(cè)權(quán)重模型。在保證快速準(zhǔn)確檢測(cè)的基礎(chǔ)上，降低數(shù)據(jù)集生成時(shí)間，加快圖像識(shí)別在工程上的落地應(yīng)用。實(shí)驗(yàn)結(jié)果表明，基于LSD直線段檢測(cè)算法能快速準(zhǔn)確定位開關(guān)盒生成數(shù)據(jù)集，大幅度降低人工框定圖像中檢測(cè)對(duì)象生成數(shù)據(jù)集的時(shí)間。同時(shí)相比于依賴強(qiáng)悍GPU平臺(tái)的R-CNN系列算法，通過(guò)YOLOv3深度網(wǎng)絡(luò)框架進(jìn)行目標(biāo)檢測(cè)在滿足降低檢測(cè)成本的基礎(chǔ)上能達(dá)到實(shí)時(shí)性的要求，檢測(cè)速度上優(yōu)于Faster R-CNN算法與SSD算法。并且將BIM模型應(yīng)用于實(shí)際視覺(jué)分析場(chǎng)景，并且具有良好適應(yīng)性，為未來(lái)工程上實(shí)現(xiàn)BIM模型與工業(yè)現(xiàn)場(chǎng)智能化應(yīng)用結(jié)合打下基礎(chǔ)。

本文提出基于LSD直線檢測(cè)和深度學(xué)習(xí)的開關(guān)狀態(tài)邊緣檢測(cè)方案在工程實(shí)施中具有以下技術(shù)優(yōu)勢(shì)：（1）加快了視覺(jué)應(yīng)用在工程項(xiàng)目中的落地時(shí)間，無(wú)需現(xiàn)場(chǎng)采集圖像與人工標(biāo)定數(shù)據(jù)集，降低目標(biāo)圖像數(shù)據(jù)建立的人工成本和消耗時(shí)間，提高面向開關(guān)盒這類目標(biāo)的檢測(cè)效率。（2）在完成智能化檢測(cè)的前提下，降低了實(shí)時(shí)監(jiān)測(cè)的網(wǎng)絡(luò)數(shù)據(jù)傳輸成本與GPU設(shè)備檢測(cè)成本，實(shí)現(xiàn)邊緣側(cè)智能化檢測(cè)，降低了設(shè)備改造成本和風(fēng)險(xiǎn)，實(shí)現(xiàn)工程上的低成本、易改造和易攜帶。