基于YOLO檢測器的指針式表盤測量系統(tǒng)

戴斐, 甘成愿

(中國民用航空中南地區(qū)管理局 空管設(shè)備應用技術(shù)開放實驗室， 廣東 廣州 510405)

0 引言

老式的表盤設(shè)備仍大量存在于工業(yè)設(shè)備中，這些設(shè)備并不能向服務器設(shè)備輸出電子數(shù)據(jù)信號，而只能依靠人工去讀數(shù)，這對于人工成本日漸增長的社會明顯不適用。這些設(shè)備價值高昂，有時候也存在技術(shù)壁壘，導致不能輕易更換。并且，這類設(shè)備在生產(chǎn)環(huán)境中是24小時在工作的，要求人工24小時關(guān)注表盤的移動明顯不可行，而且人工讀數(shù)會受到工人的疲勞程度、視角的影響，可能導致讀數(shù)錯誤，從而產(chǎn)生重大的事故。由于我國是工業(yè)大國，大部分貴重的工業(yè)設(shè)備還是上世紀遺留下來的，因此建立一套能夠?qū)Ρ肀P檢測和識別的智能化的視頻監(jiān)控平臺，對減少工業(yè)生產(chǎn)事故，保障生產(chǎn)安全，提高工業(yè)信息化和智能化水平有著深遠的意義和廣闊的前景。

1 研究概況

在表盤讀數(shù)研究上面也引起學術(shù)界的關(guān)注。目前也有相應的研究[1-3]成果發(fā)表，昆明理工大學[4]同樣采用了霍夫變化的方式對表盤設(shè)備進行讀數(shù)，同樣是對直線的檢測，但他們對圖像的要求比較嚴格，且采用的是人工切割的方式對表盤進行截取，這對實際應用并沒有幫助。上海工程技術(shù)大學[5]依賴Labview SDK對表盤進行讀數(shù)，缺少對生產(chǎn)環(huán)境的適應性，且沒有專門的數(shù)據(jù)庫支撐。廣東工業(yè)大學機電工程學院[6]提出了利用特征匹配的方式來定位表盤指針，并利用最小二乘的方法去擬合指針的角度分布，然而仍存在特征提取速度過慢、特征干擾程度較高等問題。張文杰等[7]提出基于視覺顯著性區(qū)域檢測的儀表讀數(shù)算法,根據(jù)視覺顯著性原理的先驗知識檢測表盤指針的存在區(qū)域,然后對圖像進行旋轉(zhuǎn)來找到橫坐標投影的最大值，但顯著性區(qū)域范圍較廣，誤差較大。

2 指針式表盤測量

在本章，介紹表盤測量系統(tǒng)硬件設(shè)備要求及算法執(zhí)行的整個流程。其流程如圖1所示。

圖1 表盤測量流程圖

首先采用目標檢測器將表盤目標檢測出來，然后使用圖片處理方法將表盤ROI區(qū)域從圖片中摳出來，再對表盤圖片應用霍夫直線檢測算法將表盤中的指針檢測出來，獲取指針的角度，從而計算出表盤的刻度Rarc，計算式如式(1)、式(2)。

(1)

(2)

其中，Darc表示算法算出來的角度值；Dmax表示算法理論上的最大計算角度，為90度；而Rmax則表示表盤上的最大刻度值，這個數(shù)值因表盤而異。

3 基于深度學習的表盤目標檢測模型

目標檢測任務是指在給定的圖片中找出特點的物件。在本文中采用YOLOv3[8]檢測器，YOLOv3精度上和速度上都有很好的效果，具備很強的實時性，滿足工業(yè)對速度的要求。

YOLOv3網(wǎng)絡(luò)：區(qū)別于二階段目標檢測器，YOLOv3檢測器主要追求檢測的速度，但同時其檢測精度上也并沒有下降太多。YOLOv3主要由3個部分組成，如圖2所示。

圖2 YOLOv3流程圖

圖像預處理過程：包括將圖像數(shù)值歸一化、圖像增廣過程、圖像張量化、圖像區(qū)域劃分這幾個過程。其中圖像區(qū)域劃分使得YOLOv3能快速對整個圖像處理。

圖像卷積及分類預測：是深度神經(jīng)網(wǎng)絡(luò)的一個經(jīng)典過程，利用卷積核對圖像高層語義特征進行提取，提取出區(qū)分性較高的目標特征，再輸入到定義的分類器中，讓分類器對特征進行分類及回歸坐標。

預測融合：是對網(wǎng)絡(luò)做出的預測進行后處理的一項工程，做了融合后的結(jié)果數(shù)據(jù)更加符合人的查看方式，而且也能消除掉一些噪聲，得到更加對齊的目標框。

4 霍夫直線檢測

在獲取到表盤圖像后，考慮到表盤處于工業(yè)環(huán)境下，表面可能會受到不同程度的污染，如果繼續(xù)采用目標檢測的方式檢測刻度，會有不可知的噪聲分布影響。而基本表盤的指針是可以看清的，在固定的環(huán)境下，配合良好的光線，采用圖像處理的方式就能很好地得到指針的位置，從而得到表盤讀數(shù)。綜合上述考慮，我們利用霍夫直線檢測方法去檢測表針。下面介紹霍夫直線檢測的原理及在本文中的使用方法。

4.1 霍夫直線檢測原理

一般地，在圖像空間中使用笛卡爾直角坐標系，在圖像空間描述一條直線為y=ax+b, 即可以使用點對(a,b)來表示圖像空間中的一條直線方程?？梢缘玫?a,b)組成的參數(shù)空間，參數(shù)空間中任意一個點表示圖像空間中的一條直線。試想，圖像空間中任意兩點相連，確定一條直線，在參數(shù)空間中記為A(a0,b0)，那么在圖像空間中確定為一條直線中的任意兩點組成的直線都為同一條直線，則在參數(shù)空間中都用同一個點A(ap,bp)表示。如此，可以利用統(tǒng)計特性來求解直線。即參數(shù)空間中的峰值點可以確定為圖像空間中的直線。示意圖如圖3所示。

然而，為了解決存在著豎線斜率為正無窮的情況，一般情況下會采用極坐標轉(zhuǎn)換的方法，用極坐標系來表示參數(shù)空間。即在圖像空間中采用r=xcosθ+ycosθ來表示一條直線，則在參數(shù)空間中是點(r,θ)，在圖像空間中經(jīng)過點(x,y)的直線簇在參數(shù)空間中是一條正弦曲線。在極坐標系的參數(shù)空間表示方法中，對于圖像空間的直線統(tǒng)計方法與笛卡爾直角坐標系一致，這里就不再贅述。

4.2 指針檢測及角度

在知道霍夫直線檢測原理后，可以知道指針一般都符合常規(guī)的直線定義。在這樣的一個理論基礎(chǔ)下，可以對表盤圖像進行預處理，從而得到1張能明顯觀察出表盤指針的二值圖像，如圖4(a)所示。而后利用形態(tài)學操作，將指針略微放小一些，如圖4(b)所示，這個可以根據(jù)現(xiàn)場生產(chǎn)環(huán)境操作。再通過二值圖像進行霍夫變換操作，可以得到霍夫空間的三維圖像，如圖4(c)所示。

取霍夫空間的極值點，過濾掉一些異常的極值點，如90度的，0度的(因為考慮到表盤如果是正方形的話也可能存在極值)。實際到這時候已經(jīng)獲取到指針的角度了，因為極值點本身就有角度的信息了，當然可以再利用極值點在霍夫空間的信息反向得到在正常的笛卡爾空間的線。

5 實驗及結(jié)果

在這一章節(jié)，將提出的方法對在工業(yè)設(shè)備上收集到的指針式表盤數(shù)據(jù)集進行了相應的對比實驗和消融實驗。通過實驗，驗證了霍夫直線檢測方法比基準方法效果要更優(yōu)。

5.1 數(shù)據(jù)集

為了驗證這個方式的可行性，采集了相應表盤數(shù)據(jù)集。整體的數(shù)據(jù)集總共有1 000張表盤圖片，將其劃分為2個部分，分別是訓練集和測試集，比例為5：5。訓練集主要用來訓練YOLO目標檢測器，使得檢測器能正確檢測到表盤目標所在的位置。測試集用來測試方法的有效性。表盤樣本數(shù)據(jù)如圖5所示。

5.2 基準方法

由于目前尚無符合我們數(shù)據(jù)庫的指針式表盤讀數(shù)方法，故自行設(shè)定了以下兩種基準對比方法。 通過與基準對比方法進行比較，驗證算法的性能。

1) 圖像信號方式：這個方法基于傳統(tǒng)圖像信號處理，是用邊緣檢測、輪廓檢測和最小外接矩形。方法首先檢測出表盤所在的位置，再采用讀數(shù)模塊進行讀數(shù)。

2) 指針檢測方式：這個方法是直接訓練一個指針檢測的目標檢測器(而不是表盤檢測)，再通過返回的指針目標相對于水平的角度計算出相應的刻度計數(shù)。

5.3 度量方式

表盤讀數(shù)問題實質(zhì)上是一個數(shù)值回歸問題，故而不能用簡單的分類準確率來度量。在本文中，采用平均平方百分比誤差來度量算法的優(yōu)劣。平均平方百分比誤差式如式(3)。

(3)

5.4 對比結(jié)果

提出的方法和對比的基準方法的實驗結(jié)果，如表1所示。

表1 實驗對比結(jié)果

從表中得知，本文方法明顯優(yōu)于其他的對比方法。比如，在測試集上的平均平方百分比誤差為0.002 45，明顯優(yōu)于圖像信號方式的0.153。通過測試樣本實驗結(jié)果分析，在表盤檢測定位上，圖像信號方式存在漏檢現(xiàn)象，從而導致該算法在平均平方百分比誤差上急劇下降。而相對于指針檢測方式，其平均平方百分比誤差為0.004 64，主要是由于指針檢測方法存在計算誤差的情況，在獲取的指針檢測返回的檢測框時，再計算到檢測框的中位線當成指針刻度，這個計算過程受到檢測框存在微小偏移的影響，導致誤差增大。同時，用3種方法檢測mAP，發(fā)現(xiàn)圖像信號方式在檢測上的效果要低于其他兩者。這是由于傳統(tǒng)的圖像處理方法依賴于邊緣，輪廓等具象信息，受圖片光照影響較大，使得檢測出的目標誤差也會較大，而采用目標檢測網(wǎng)絡(luò)的方法能從高層語義上檢測表盤目標，對環(huán)境的噪聲影響具有很強的適合性。

5.5 可視化結(jié)果

可視化指針檢測方式的檢測結(jié)果和本文所提方法直線檢測過程圖，如圖6所示。

圖6 兩種方法對比結(jié)果

由圖6可以看到，指針檢測方式在指針檢測上，存在微小的偏移誤差，導致該算法在精度上小于本文所提方法。

這里比較直接用指針檢測和使用本文方法的目標檢測+直線檢測的方法?？梢园l(fā)現(xiàn)，直接采用指針目標檢測，可能會在轉(zhuǎn)換計算角度時存在較大的誤差(左下角圖)，而本文所提方法，最后計算出來的直線完美貼合指針(中下圖)。

6 總結(jié)

提出了一種結(jié)合深度目標檢測網(wǎng)絡(luò)和圖像信號處理直線檢測的方式去檢測指針式表盤的讀數(shù)。通過深度目標檢測網(wǎng)絡(luò)，可以有效地、準確地定位到表盤的位置，而很少會受到工業(yè)環(huán)境的噪聲影響。在獲取到表盤圖像后，霍夫直線檢測方法獲取到相應指針的位置，從而獲取指針的角度讀取刻度。在構(gòu)建的數(shù)據(jù)集上，本文的方法明顯優(yōu)于其他基準方法，可以達到應用級別。