一種用于海上平臺(tái)纜控注水井的多類(lèi)型指針式儀表識(shí)別方法

陳 征, 劉長(zhǎng)龍, 張 樂(lè), 張璽亮, 徐元德, 藍(lán) 飛, 蔣少玖

（1.中海石油（中國(guó)）有限公司天津分公司, 天津 300459；2.中海油能源發(fā)展股份有限公司工程技術(shù)分公司, 天津 300452）

目前海上平臺(tái)纜控注水井作業(yè)現(xiàn)場(chǎng)中指針式儀表的讀取工作大部分仍采用人工巡檢的方式, 識(shí)別過(guò)程枯燥、麻煩且容易受到主觀因素的影響[1-2］。另外現(xiàn)階段對(duì)指針式儀表的研究大多數(shù)都是對(duì)一種指針儀表的研究, 如何準(zhǔn)確識(shí)別多種類(lèi)型指針式儀表是目前一大挑戰(zhàn)。

隨著計(jì)算機(jī)視覺(jué)和目標(biāo)檢測(cè)技術(shù)的不斷發(fā)展, 深度學(xué)習(xí)在指針式儀表識(shí)別中的應(yīng)用越來(lái)越廣泛。徐發(fā)兵等[3］通過(guò)使用卷積神經(jīng)網(wǎng)絡(luò)和改進(jìn)的場(chǎng)景文本檢測(cè)器（EAST）算法對(duì)儀表進(jìn)行檢測(cè)讀數(shù)。邢浩強(qiáng)等[4］利用卷積神經(jīng)網(wǎng)絡(luò)模型檢測(cè)完成儀表讀數(shù)識(shí)別。周登科等[5］通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)儀表圖像的傾斜校正和旋轉(zhuǎn)校正。盡管目前利用深度學(xué)習(xí)實(shí)現(xiàn)指針式儀表檢測(cè)算法越來(lái)越多, 但這些方法網(wǎng)絡(luò)規(guī)模大, 識(shí)別效果和準(zhǔn)確性仍有待提高, 難以在算力有限的計(jì)算機(jī)上完成對(duì)指針式儀表的實(shí)時(shí)高效檢測(cè)[6］。

針對(duì)目前指針式儀表識(shí)別效率低、識(shí)別不準(zhǔn)確等問(wèn)題, 實(shí)現(xiàn)海上平臺(tái)纜控注水井中不同類(lèi)型指針式儀表的識(shí)別工作, 本文提出了一種用于海上平臺(tái)纜控注水井的多類(lèi)型指針式儀表識(shí)別方法, 改進(jìn)的YOLOv5算法與基于圖像處理的模板匹配法相結(jié)合, 該方法能夠識(shí)別不同類(lèi)型的指針式儀表, 識(shí)別效果顯著, 定位表盤(pán)位置準(zhǔn)確, 對(duì)指針角度和讀數(shù)具有較高的識(shí)別率。

1 算法流程

針對(duì)指針式儀表的多類(lèi)型識(shí)別, 本文將YOLOv5算法與模板匹配法相結(jié)合, 實(shí)現(xiàn)儀表圖像讀數(shù), 算法流程圖如圖1所示。

圖1 算法流程圖Fig.1 Algorithm flow chart

具體流程為首先將測(cè)試圖像轉(zhuǎn)換為灰度圖像, 用YOLOv5算法檢測(cè)測(cè)試圖像的儀表類(lèi)型, 讀取出測(cè)試圖像對(duì)應(yīng)的模板圖像及其先驗(yàn)信息；其次通過(guò)模板匹配定位測(cè)試圖像的表盤(pán), 在測(cè)試圖像的表盤(pán)上繪制矩形并截取矩形, 匹配并返回矩形的坐標(biāo)信息；再次通過(guò)K-means二值化矩形圖像, 根據(jù)矩形圖像的坐標(biāo)信息計(jì)算其中心點(diǎn)坐標(biāo)；最后通過(guò)直線旋轉(zhuǎn)法獲取指針的角度, 將指針角度與模板圖像中每個(gè)刻度對(duì)應(yīng)的角度進(jìn)行對(duì)比, 并根據(jù)與刻度的關(guān)系計(jì)算出儀表的讀數(shù)。

2 基于改進(jìn)的YOLOv5儀表類(lèi)型檢測(cè)

2.1 YOLOv5網(wǎng)絡(luò)模型

本文使用YOLOv5作為檢測(cè)網(wǎng)絡(luò)來(lái)進(jìn)行儀表類(lèi)型識(shí)別, YOLOv5的整體結(jié)構(gòu)中增加了Focus和SPP結(jié)構(gòu), YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 YOLOv5 network structure diagram

YOLOv5在圖像輸入時(shí)對(duì)圖像進(jìn)行了Mosaic數(shù)據(jù)增強(qiáng)操作, 并且在推理時(shí)采用了自適應(yīng)縮放操作, 該方法可根據(jù)輸入圖像尺寸的不同進(jìn)行自適應(yīng)填充, 提升了37%的推理速度。其次, 還設(shè)計(jì)了位于網(wǎng)絡(luò)最前端的Focus結(jié)構(gòu), 該結(jié)構(gòu)最主要的內(nèi)容是對(duì)輸入數(shù)據(jù)進(jìn)行切片操作, 可有效提升圖片特征提取質(zhì)量。YOLOv5設(shè)計(jì)了2種與YOLOv4[7］結(jié)構(gòu)中相同的CSP網(wǎng)絡(luò)結(jié)構(gòu), 并且將其用于Backbone層和Neck層。Neck層 采 用 了FPN+PAN（Perceptual Adversarial Network）結(jié)合的方式, 使用了新設(shè)計(jì)的CSP結(jié)構(gòu), 同時(shí)增強(qiáng)了網(wǎng)絡(luò)對(duì)特征的融合能力。

2.2 改進(jìn)的YOLOv5模型

2.2.1 損失函數(shù)的改進(jìn)

損失函數(shù)[8］是對(duì)深度神經(jīng)網(wǎng)絡(luò)誤測(cè)樣本評(píng)判的重要基礎(chǔ)。損失函數(shù)的選取對(duì)模型收斂效果影響很大, 因此選用恰當(dāng)?shù)膿p失函數(shù)可以達(dá)到良好的識(shí)別效果。本文使用GIOU_Loss作為BBox損失函數(shù), 并且在進(jìn)行非最大值抑制時(shí)使用了加權(quán)非最大值抑制NMS方法, 在不增加計(jì)算資源的情況下對(duì)檢測(cè)圖像中一些有重疊的目標(biāo)檢測(cè)效果較好, GIOU_Loss損失函數(shù)的計(jì)算, 如式（1）所示。

GIOU_Loss函數(shù)增加了相交尺寸的測(cè)量方法, 可以處理邊框有時(shí)并不重疊的問(wèn)題, 并且有利于損失函數(shù)獲得進(jìn)一步的收斂, 從而增強(qiáng)模型的識(shí)別效率。

2.2.2 DenseNet網(wǎng)絡(luò)替換Res unit殘差網(wǎng)絡(luò)

雖然YOLOv5有著良好的檢測(cè)效果, 但對(duì)一些目標(biāo)特征不明顯或者小目標(biāo)有著一定的檢測(cè)誤差, 為了進(jìn)一步提高目標(biāo)的特征提取能力, 本文使用DenseNet網(wǎng)絡(luò)[9］中的密集卷積塊（Dense block）代替YOLOv5中CSP1_3的Res unit殘差網(wǎng)絡(luò)。

在傳統(tǒng)的CNN中, 網(wǎng)絡(luò)有多少層就會(huì)對(duì)應(yīng)多少個(gè)連接, 而Dense block的輸入是之前所有層的輸出, 即網(wǎng)絡(luò)有m層, 則會(huì)有m（m+1）/2個(gè)連接。

YOLOv5中原始?xì)埐罹W(wǎng)絡(luò)的第m層輸出如式（2）所示。

其中fm（Xm-1）表示第m層對(duì)第m-1層的輸出的非線性變換, Xm-1表示第m-1層的輸出。

本文采用密集卷積塊的方式, 第m層通過(guò)對(duì)前m-1層的特征輸出圖做網(wǎng)絡(luò)融合, 增強(qiáng)特征獲取的能力, 其輸出如式（3）所示, 即

2.3 儀表類(lèi)型識(shí)別

2.3.1 識(shí)別前操作

讀取測(cè)試圖像, 通過(guò)透視變換消除表面角度傾斜造成的儀表圖像畸變, 然后根據(jù)儀表豎直中軸線對(duì)稱(chēng)的關(guān)鍵點(diǎn), 計(jì)算儀表水平方向的旋轉(zhuǎn)角度并進(jìn)行旋轉(zhuǎn)校正。在識(shí)別測(cè)試圖像儀表類(lèi)型之前先將其轉(zhuǎn)換為灰度圖像, 使用加權(quán)平均法將測(cè)試圖像轉(zhuǎn)換為灰度圖像以便提高運(yùn)算速度, 也為后面圖像處理工作做準(zhǔn)備。

2.3.2 儀表類(lèi)型識(shí)別

在構(gòu)建模板圖像數(shù)據(jù)庫(kù)時(shí), 記錄下每個(gè)模板對(duì)應(yīng)的先驗(yàn)信息, 其先驗(yàn)信息包括刻度及其像素坐標(biāo)、中心點(diǎn)像素坐標(biāo)。對(duì)模板圖像數(shù)據(jù)庫(kù)進(jìn)行類(lèi)型標(biāo)注, 然后用改進(jìn)的YOLOv5模型進(jìn)行訓(xùn)練, 設(shè)置斷點(diǎn)續(xù)訓(xùn), 在訓(xùn)練的前幾個(gè)周期內(nèi)預(yù)熱學(xué)習(xí)率, 在小的學(xué)習(xí)率下使模型慢慢趨于穩(wěn)定后, 使用預(yù)先設(shè)置的學(xué)習(xí)率進(jìn)行訓(xùn)練, 初始學(xué)習(xí)率為0.01, 最終的學(xué)習(xí)率為0.002, 用余弦退火算法計(jì)算衰減學(xué)習(xí)率。設(shè)置標(biāo)稱(chēng)batch size為8, 即當(dāng)設(shè)置的batch size=4時(shí), 模型梯度累計(jì)2次之后再進(jìn)行模型的更新, 擴(kuò)大批處理的大小, 緩解由于設(shè)施配置有限而導(dǎo)致梯度頻繁更新的問(wèn)題。訓(xùn)練完成之后即可讀取測(cè)試圖像進(jìn)行測(cè)試, 識(shí)別出對(duì)應(yīng)儀表類(lèi)型, 并讀取對(duì)應(yīng)模板圖像和先驗(yàn)信息, 用于定位儀表表盤(pán)。

3 基于模板匹配的表盤(pán)定位及讀數(shù)獲取

3.1 模板匹配法

使用改進(jìn)的YOLOv5模型識(shí)別測(cè)試圖像儀表類(lèi)型時(shí), 會(huì)讀取對(duì)應(yīng)模板圖像和模板圖像對(duì)應(yīng)的先驗(yàn)信息, 然后將模板圖像在測(cè)試圖像上進(jìn)行模板匹配, 定位儀表表盤(pán)。

模板匹配的基本原理是在一幅圖像中尋找與另一幅模板圖像相似部分[10］, 通過(guò)相似性計(jì)算找到模板在被搜索圖像的坐標(biāo)位置

假設(shè)模板A的尺寸為W×H, 待搜索圖像B的尺寸為M×N, 令模板A在圖像B上平移, 搜索區(qū)域所覆蓋的子圖像記為Bi, j, 其中i、j為子圖像左上角頂點(diǎn)在圖像B中的坐標(biāo)。i、j的搜索范圍為1≤i≤M-m, 1≤j≤N-n, 通過(guò)比較A和Bi, j的相似性, 完成模板匹配過(guò)程[11］。計(jì)算如公式（4）所示。

根據(jù)I（i, j）得到被搜索圖像中與模板圖像相似度最高的區(qū)域位置, 并根據(jù)實(shí)際模板大小計(jì)算得到該區(qū)域中心所在坐標(biāo)位置。模板匹配結(jié)果如圖3所示。

圖3 模板匹配結(jié)果圖Fig.3 Template matching results

根據(jù)模板匹配和模板圖像的先驗(yàn)信息可以得到儀表表盤(pán)的坐標(biāo)信息, 根據(jù)儀表表盤(pán)的左上角坐標(biāo)和右下角坐標(biāo)可以計(jì)算出表盤(pán)中心坐標(biāo)。

3.2 指針角度獲取

3.2.1 K-means二值化圖像

使用K-means方法對(duì)圖像進(jìn)行二值化處理, Kmeans二值化處理的步驟如下所示。

（1）隨機(jī)選擇k個(gè)初始的聚類(lèi)中心, 因?yàn)橐祷瘓D像, 所以本文選取k=2。

（2）計(jì)算每個(gè)樣本到各聚類(lèi)中心的距離, 將每個(gè)樣本歸到其距離最近的聚類(lèi)中心。

（3）以簇內(nèi)樣本均值作為該簇新的聚類(lèi)中心。

（4）判斷聚類(lèi)中心是否發(fā)生變化, 若有變化則重新回到步驟（2）, 若無(wú)變化則輸出最終聚類(lèi)中心及每個(gè)樣本所屬類(lèi)別。

令聚類(lèi)中心為cj, 計(jì)算每個(gè)樣本到聚類(lèi)中心的距離, 如式（5）所示, 即

通過(guò)K-means二值化, 把圖像分成兩類(lèi), 在圖像中隨機(jī)選擇中心點(diǎn)像素值, 計(jì)算各像素點(diǎn)到2個(gè)中心聚類(lèi)的距離, 并根據(jù)最小距離重新對(duì)相應(yīng)對(duì)象進(jìn)行劃分, 重新計(jì)算每個(gè)有變化聚類(lèi)的均值, 循環(huán)直到每個(gè)聚類(lèi)不再發(fā)生變化為止, 在此過(guò)程中建立壓縮調(diào)色板, 將圖像中的每個(gè)像素分配到調(diào)色板的一種顏色中, 將K-means分類(lèi)結(jié)果通過(guò)壓縮調(diào)色板分類(lèi)創(chuàng)建壓縮后的新圖像, 將所有像素重新著色成黑色和白色即可得到二值化后的圖像。

3.2.2 指針擬合

將K-means二值化后的圖像使用直線旋轉(zhuǎn)法按一定的角度擬合指針。首先在圖像的二維空間中以確定的表盤(pán)中心為原點(diǎn)建立笛卡爾坐標(biāo)系, 以原點(diǎn)為起點(diǎn)畫(huà)一條直線, 長(zhǎng)度為確定的表盤(pán)半徑, 并且以原點(diǎn)為圓心在表盤(pán)上進(jìn)行旋轉(zhuǎn), 起始位置在笛卡爾坐標(biāo)系的x軸處。計(jì)算直線在旋轉(zhuǎn)過(guò)程中與表盤(pán)黑色像素的重合率, 重合率最高處就是指針?biāo)谖恢谩?/p>

指針擬合的目的是獲取指針對(duì)應(yīng)的角度, 首先獲取角度集θ, 如式（6）所示, 即

計(jì)算直線在旋轉(zhuǎn)過(guò)程中與表盤(pán)黑色像素的重合率vi, 令pi為角度是θi的直線上所采樣的像素點(diǎn)個(gè)數(shù), gray（xij,yij）為角度是θi的直線上第j個(gè)像素點(diǎn)的灰度值, 選取重合率最大的vi所對(duì)應(yīng)的角度, 即為指針擬合的角度。重合率的計(jì)算, 如式（7）所示, 即

3.3 儀表讀數(shù)獲取

將模板圖像的先驗(yàn)信息通過(guò)余弦絕對(duì)值公式和反余弦公式計(jì)算, 可以得到每個(gè)刻度對(duì)應(yīng)的角度, 將每個(gè)刻度及對(duì)應(yīng)角度放入一個(gè)集合S中。

余弦絕對(duì)值的計(jì)算, 如式（8）所示, 即

反余弦的計(jì)算, 如式（9）所示, 即

式（8）、（9）中, （x, y）為模板圖像的中心點(diǎn)坐標(biāo), （xc, yc）為刻度坐標(biāo),V為余弦坐標(biāo)值,θ為刻度對(duì)應(yīng)的角度。

對(duì)集合S中的刻度進(jìn)行遞增排序, 通過(guò)比較測(cè)試圖像指針擬合獲取的角度θi和集合S中的角度大小關(guān)系, 可以得到測(cè)試圖像指針?biāo)诘目潭确秶╪≤t≤m）, 并通過(guò)角度之間的比例關(guān)系計(jì)算出測(cè)試圖像的刻度值。

4 實(shí)驗(yàn)與結(jié)果分析

4.1 實(shí)驗(yàn)環(huán)境

為保證改進(jìn)的YOLOv5模型的訓(xùn)練效率, 本文實(shí)驗(yàn)需要配置較好的硬件進(jìn)行整個(gè)模型的訓(xùn)練和測(cè)試, 其中操作系統(tǒng)為Ubuntu 21.10, 顯卡為GeForce RTX 2060 Max-Q, 內(nèi)存為16G。為了提高實(shí)驗(yàn)的運(yùn)算速度, 實(shí)驗(yàn)中使用了GPU（Graphic Processing Unit）進(jìn)行加速運(yùn)算。實(shí)驗(yàn)中模型的搭建、訓(xùn)練和測(cè)試均是在Pytorch框架下完成, 編程語(yǔ)言為Python。使用CUDA（Compute Unified Device Architecture）并行計(jì)算架構(gòu), 并且將用于深層神經(jīng)網(wǎng)絡(luò)的GPU加速庫(kù)cuDNN（CUDA Deep Neural Network library）集成到Pytorch框架下, 用來(lái)提高計(jì)算機(jī)的計(jì)算能力。

4.2 數(shù)據(jù)集構(gòu)建

本文數(shù)據(jù)集中的圖像主要來(lái)源于海上平臺(tái)纜控注水井作業(yè)現(xiàn)場(chǎng)中的實(shí)際儀表圖像, 包含了10種不同類(lèi)型的指針儀表, 共計(jì)800幅, 使用Albumentations框架對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng), 數(shù)據(jù)增強(qiáng)的目的是增加數(shù)據(jù)集的多樣性, 以此來(lái)增強(qiáng)模型的泛化能力。數(shù)據(jù)增強(qiáng)的方式包括旋轉(zhuǎn)、彈性變化和HSV偏移, 經(jīng)過(guò)數(shù)據(jù)增強(qiáng)[12］, 原指針儀表圖像數(shù)據(jù)集從原來(lái)的800幅擴(kuò)充到2400幅, 將數(shù)據(jù)集按照8∶2的比例劃分為訓(xùn)練集和測(cè)試集, 即訓(xùn)練集的數(shù)量為1920幅, 測(cè)試集的數(shù)量為480幅, 經(jīng)過(guò)標(biāo)注后將數(shù)據(jù)集輸入到神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。

4.3 結(jié)果及分析

本文通過(guò)對(duì)YOLOv5中損失函數(shù)的改進(jìn), 同時(shí)將DenseNet網(wǎng)絡(luò)中的密集卷積塊（Dense block）代替YOLOv5中CSP1_3中的Res unit殘差網(wǎng) 絡(luò), 改 進(jìn)了YOLOv5模型, 極大地提高了目標(biāo)檢測(cè)的能力, 增強(qiáng)了模型的識(shí)別效率。改進(jìn)之后的YOLOv5模型在準(zhǔn)確率上達(dá)到了95.20%, 相比原始的YOLOv5模型提升了7.97%, 相比YOLOv4模型提升了15.16%, 準(zhǔn)確率對(duì)比情況如表1所示。

表1 準(zhǔn)確率對(duì)比表Tab.1 Accuracy comparison table

經(jīng)過(guò)改進(jìn)的YOLOv5模型的實(shí)驗(yàn)驗(yàn)證表明, 超過(guò)95.20%的圖像都能準(zhǔn)確識(shí)別所對(duì)應(yīng)的模板類(lèi)型, 再經(jīng)過(guò)模板匹配后能準(zhǔn)確定位到儀表表盤(pán), 最終的儀表讀數(shù)達(dá)到了較高的準(zhǔn)確度, 識(shí)別速度也比較快。表2為隨機(jī)選取10組測(cè)試圖像的識(shí)別結(jié)果示例, 每組測(cè)試圖像分別來(lái)源于10種類(lèi)型圖像測(cè)試集的隨機(jī)抽取。

表2 儀表識(shí)別結(jié)果示例Tab.2 Example of instrument identification results

從表2的實(shí)驗(yàn)結(jié)果來(lái)看, 10組測(cè)試圖像的識(shí)別結(jié)果精確度很高, 符合人工讀數(shù)的誤差范圍。針對(duì)實(shí)際情況中儀表圖像質(zhì)量低的問(wèn)題, 解決辦法是在測(cè)試圖像轉(zhuǎn)化為灰度圖像之前進(jìn)行伽馬變換操作, 而后測(cè)試圖像的亮度值得到有效提升, 再經(jīng)過(guò)模板匹配等得到了準(zhǔn)確的識(shí)別結(jié)果。

5 結(jié) 語(yǔ)

為了能夠更好地實(shí)現(xiàn)海上平臺(tái)纜控注水井中指針式儀表的識(shí)別效果, 本文提出了一種用于海上平臺(tái)纜控注水井的多類(lèi)型指針式儀表識(shí)別方法, 首先對(duì)YOLOv5模型中的損失函數(shù)進(jìn)行了改進(jìn), 增強(qiáng)了模型的識(shí)別效率。使用DenseNet網(wǎng)絡(luò)中的密集卷積塊（Dense block）代替YOLOv5 CSP1_3中的Res unit殘差網(wǎng)絡(luò), 進(jìn)一步提高了目標(biāo)的特征提取能力, 將其與基于圖像處理的模板匹配法相結(jié)合, 再經(jīng)過(guò)K-means二值化和指針擬合等操作得到儀表讀數(shù)。該方法對(duì)于指針式儀表識(shí)別效果顯著, 表盤(pán)位置定位準(zhǔn)確, 識(shí)別速度快, 在復(fù)雜環(huán)境下也能完成識(shí)別工作。