基于YOLOv4的指針式儀表自動檢測和讀數(shù)方法研究*

李 俊,袁 亮,冉 騰

(新疆大學 機械工程學院,新疆 烏魯木齊 830046)

0 引 言

在有電磁干擾的環(huán)境下,數(shù)顯式、電子式儀表容易發(fā)生故障,而指針式儀表卻在抗干擾能力、結構和成本方面都有顯著的優(yōu)勢,因而被廣泛應用于社會的諸多領域。

但是指針式儀表在傳統(tǒng)的人工判讀過程中,會因注意力不集中、視覺疲勞等原因造成誤讀。此外,在工況惡劣、安全風險高的場所(強輻射、高溫、化工場所等),并不適合人工觀測讀取儀表數(shù)據(jù)。因此,進行指針式儀表的自動檢測和讀數(shù)研究具有重要意義。

隨著計算機視覺和目標檢測技術的不斷發(fā)展,指針式儀表數(shù)據(jù)的自動讀取技術變得日臻成熟。針對復雜環(huán)境中儀表自動檢測和讀數(shù)困難的問題,已有學者做了許多具有指導意義的研究。圓形指針式儀表通常采用Hough圓檢測檢測進行表盤定位與提取,但該方法易受到外形類似儀表的物體干擾。房樺等[1]利用SIFT(scale invariant feature transform)算法識別儀表,利用快速霍夫變換提取了指針角度。楊志娟等[2]提出了利用ORB(oriented FAST and rotated BRIEF)算法,求解儀表模板圖像與待測圖像的透視變換矩陣,定位表盤區(qū)域,并根據(jù)表盤灰度特征信息,提出了基于圓周區(qū)域的累積直方圖法對指針進行了定位。GAO J L等[3]提出了利用改進的ORB算法實現(xiàn)了儀表的搜索與識別,利用相似特征三角形方法確定了指針回轉中心坐標,引導PTZ調整了其姿態(tài)。胡彬等[4]通過提取待識別圖片和模板圖片的KAZE[5]特征,并采用KNN(k-nearest neighbor)算法進行了關鍵點匹配,進行了特征匹配,從而得到了表盤區(qū)域,最后采用概率霍夫變換擬合出了指針直線。

基于特征匹配的方法都需要人工預先標定儀表模板,需要待識別圖像和模板之間要具有高度的相似性,檢測儀表速度較慢,在一定程度上限制了其應用范圍。

筆者提出一種復雜背景下的指針式儀表自動檢測和讀數(shù)方法,通過基于卷積神經(jīng)網(wǎng)絡的目標檢測解決上述方法存在的問題;首先利用YOLOv4[6]檢測截取儀表區(qū)域,消除外形類似儀表的物體和背景環(huán)境的干擾,提高指針儀表區(qū)域的顯著性,然后利用霍夫變換提取表盤,RANSAC直線擬合方法提取指針中心線,結合中心線斜率求出儀表讀數(shù),最后通過實際測試驗證方法的有效性和快速性。

1 基于YOLOv4的目標檢測

用傳統(tǒng)方法獲取指針儀表圖像區(qū)域時,需要構建模板圖像,選取模板圖像必須要滿足許多條件,并且模板圖像構建較為耗時。而利用YOLOv4進行目標檢測,數(shù)據(jù)收集和模型訓練簡單,能夠快速魯棒地從相機采集到的圖像中檢測出儀表。

1.1 YOLOv4模型

近年來，研究人員在目標檢測領域取得了很多突破。YOLOv4能夠非常好地平衡目標檢測的精度與速度。YOLOv4目標檢測器結構由輸入、骨架網(wǎng)絡、頸部、頭部4個模塊組成。輸入端對數(shù)據(jù)進行了Mosaic增強,骨架網(wǎng)絡采用CSPDarknet53,它是在YOLOv3[7]的骨架網(wǎng)絡Darknet53的基礎上借鑒CSPnet[8]而來,用于提取圖像的淺層特征;其頸部采用SPP[9]、FPN[10]、PAN[11]等模塊對淺層特征進行了增強,使模型能夠學習得到期望的特征;頭部采用YOLOv3返回目標的分類和邊界框。

1.2 模型的訓練和測試

YOLOv4原有模型并未對指針式儀表進行大量的數(shù)據(jù)訓練,在實際檢測中無法獲得理想的檢測結果。因此,筆者針對指針式儀表,在不同背景、光照、拍攝角度、尺度的條件下采集圖像,建立VOC格式數(shù)據(jù)集,訓練一個目標檢測網(wǎng)絡模型;并根據(jù)計算機硬件配置和訓練需求配置環(huán)境,修改YOLOv4網(wǎng)絡配置文件參數(shù)設置,完成模型訓練。

其參數(shù)設置如表1所示。

表1 參數(shù)設置

筆者采集儀表圖像進行訓練,模型訓練batch數(shù)為4 000次,訓練總時長為53 h。初始損失值高達2 000;訓練過程中損失值迅速下降,batch值達到200后損失值降至5以下,訓練結束時模型平均損失值為0.113。

模型的平均損失值曲線如圖1所示。

圖1 平均損失值曲線

平均交并比如圖2所示。

圖2 平均交并比變化

模型訓練迭代總次數(shù)超過2.5×105后,交并比平均值約為0.95;模型的均值平均精度(mAP)達到95.45%。綜合各項數(shù)據(jù)表明,該模型具備較高的目標檢測精度。

1.3 儀表檢測和提取

傳統(tǒng)的儀表檢測方法有霍夫圓檢測和特征點匹配等。筆者利用霍夫圓檢測進行儀表盤檢測提取時,當參數(shù)調整不合適,或存在與儀表外形類似的圓形物體干擾時,就會導致檢測失效。在建立高質量模板的前提下,利用基于特征點匹配的方式檢測儀表,檢測準確率和檢測時間都有較大差異。

傳統(tǒng)儀表檢測如圖3所示。

圖3 傳統(tǒng)儀表檢測

上述方法雖能從背景環(huán)境中檢測提取出儀表,但大多依賴于高質量的儀表模板,應對環(huán)境變化的魯棒性稍差。

經(jīng)過數(shù)據(jù)訓練,YOLOv4模型能很好地克服上述方法的缺點。筆者將采集到的圖像輸入到訓練好的目標檢測模型,模型會自動返回預測的儀表分類和邊界框;在不同條件(不同光照、拍攝角度等)下進行YOLOv4儀表檢測實驗。

YOLOv4儀表檢測結果如圖4所示。

圖4 YOLOv4儀表檢測結果

1.4 表盤區(qū)域提取

根據(jù)返回的儀表邊界框位置坐標可以將絕大部分背景剔除,但儀表指針檢測多基于精確的表盤輪廓,所以筆者利用霍夫變換進一步消除殘余背景,提取出表盤。

表盤提取結果如圖5所示。

圖5 表盤提取結果

圖5(a)表示圖4第一行第二列圖,根據(jù)邊界框剔除背景后的儀表區(qū)域;圖5(b)表示儀表區(qū)域圖像經(jīng)均值濾波、灰度化后,筆者采用霍夫圓變換[12]進行表盤輪廓檢測,根據(jù)霍夫圓的半徑創(chuàng)建mask提取得到的表盤區(qū)域。

標準霍夫圓變換將每個非零像素點都視為潛在的圓上點。笛卡爾坐標系下,將經(jīng)過二維圖像上非零像素點(x0,y0)的所有圓映射到abr組成的三維坐標系中,將會是一條三維曲線。遍歷圖像中每個非零像素點,將得到三維曲線簇。如果abr坐標系中相交于某一點曲線數(shù)量,超過給定閾值則點(a,b,r)在二維圖像上是圓。但這樣計算量特別大,運算速度慢。

筆者采用霍夫梯度圓檢測方法,先篩選候選像素點,即先求圖像梯度,將梯度值大的區(qū)域視為潛在的圓的邊緣,只對這些區(qū)域進行檢測,大幅降低了計算量。

笛卡爾坐標系下圓方程為:

(x-a)2+(y-b)2=r2

(1)

其簡化方程為:

a=x-rcosθ
b=y-rsinθ

(2)

式中:(a,b)—圓心;r—半徑;θ—半徑與x軸之間的夾角。

2 刻度線輪廓直線擬合

由于光照等原因,表盤輪廓邊緣可能會導致利用霍夫變換得到的指針回轉中心不準確。表盤中多數(shù)刻度線輪廓往往較為清晰,根據(jù)刻度線都指向指針回轉中心的特點,筆者利用最小二乘法[13-15]擬合刻度線輪廓直線,擬合直線交點的平均值點即為指針的回轉中心。

刻度線輪廓直線擬合分為刻度線輪廓查找和最小二乘刻度線直線擬合兩個步驟。

2.1 刻度線輪廓查找

真實環(huán)境下光照條件多變,采集到的圖像可能出現(xiàn)光照不均勻的情況。筆者利用自適應閾值分割進行了圖像二值化,然后執(zhí)行膨脹與腐蝕操作;對二值圖像進行了連通組件分析,得到了連通組件的輪廓點集;輪廓點集中包含無效輪廓,筆者利用刻度線都集中在表盤圓附近和刻度輪廓有特定橫縱比的特點,對輪廓進行了篩選,進而得到了刻度線輪廓。

刻度線輪廓如圖6所示。

圖6 刻度線輪廓

2.2 最小二乘刻度線直線擬合

最小二乘直線擬合是通過最小化偏差平方和來尋找刻度線輪廓點集的最佳函數(shù)匹配。其直線的截距式公式為:

y=ax+b

(3)

式中:a—直線斜率;b—y軸上的截距。

平方偏差求和公式為:

(4)

式中:(xi,yi)—刻度線輪廓外接最小矩形點集中的任意點。

筆者根據(jù)最小二乘法擬合直線的原理,求解關于a,b的最小平方偏差和函數(shù)的最小值。偏差和的偏導公式分別為:

(5)

(6)

通過求解上式可得到輪廓擬合直線。

刻度線直線擬合和指針回轉中心如圖7所示。

圖7 刻度線直線擬合和指針回轉中心

由圖7(a)可看到刻度線輪廓直線擬合結果;所有的刻度線擬合直線會相交,交點坐標的平均值點即為指針回轉中心;由圖7(b)可看到求得的指針回轉中心。

3 儀表指針定位

輪廓點集中去除刻度線、表盤邊緣及雜點輪廓后,受到表盤中字符干擾,仍無法得到精確的指針輪廓。筆者對指針輪廓進行細化，得到了指針骨架,利用RANSAC[16]算法去除了由字符影響產(chǎn)生的骨架中離群點,進而擬合了指針骨架直線,得到了精確的指針中心線。

筆者對指針輪廓圖像進行了Canny邊緣檢測,用概率霍夫變換直線檢測指針邊緣直線,得到了指針頂點。

指針定位過程如圖8所示。

圖8 指針定位過程

4 儀表讀數(shù)計算

儀表讀數(shù)計算有角度法和距離法兩種方法,其中角度法簡單且易于操作。本研究選用角度法計算儀表讀數(shù)。數(shù)字圖像以其左上角為原點,水平方向為x軸,垂直方向為y軸。儀表最小刻度線和最大刻度線位置固定,筆者提出以指針的回轉中心為原點,建立與圖像坐標系相同的儀表直角坐標系。

儀表坐標系如圖9所示。

圖9 儀表坐標系

計算指針中心直線與水平方向的夾角,換算出指針相對于最小刻度線的回轉角度,就能得到儀表讀數(shù)。

余弦絕對值公式為:

(7)

指針中心線與x軸的反余弦值公式為:

β=arccosK

(8)

式中:(x,y)—指針中心線頂點坐標;(xc,yc)—指針回轉中心坐標;K—余弦絕對值;β—指針與x軸的夾角。

根據(jù)下面的規(guī)則,可得出指針相對于最小刻度的回轉角度:

(1)當y>yc:

x>xc時,指針在第一象限θ=5π/4+|β|;

x

(2)當y

x

x>xc時,指針在第四象限θ=5π/4-|β|。

通過計算指針回轉角度、最大回轉角度和儀表量程之間的比值關系,即可求得儀表讀數(shù)。儀表讀數(shù)計算公式為:

(9)

式中:θi—指針回轉角度;valuei—儀表讀數(shù);valuemax—儀表量程最大值;valuemin—儀表量程最小值;R—指針最大回轉角度(最大刻度與最小刻度間夾角)。

5 實 驗

筆者對準確度等級為1.5的溫度表進行檢測精度、速度與讀數(shù)精度的實驗?；谔卣鞯臋z測方式,檢測精度與速度取決于對模板質量及儀表圖像分辨率的高低,實際的檢測精度并不理想,精度均低于50%;與傳統(tǒng)的方法相比,筆者所提的方法檢測精度更高,儀表檢測精度達到了98.6%;并且隨著訓練集的不斷擴充,精度會進一步提高。

筆者對分辨率為720×540的包含儀表的圖像進行檢測,所采用的YOLOv4檢測單幀圖像時間為80.65 ms,并且分辨率變化對檢測時間影響不大;而基于特征匹配的檢測方式時間都在240 ms以上,并且隨著圖像分辨率的增大,檢測時間變長。

各檢測方法檢測速度如表2所示。

表2 各檢測方法檢測速度

以絕對誤差占量程的百分比作為基本誤差來衡量識別精度,基本誤差越小,識別精度越高。筆者對量程為100 ℃的指針式溫度表進行了50組讀數(shù)識別精度實驗,此處僅展示部分讀數(shù)識別數(shù)據(jù)。

讀數(shù)識別結果如表3所示。

表3 讀數(shù)識別結果

實驗結果顯示:本研究算法識別出的數(shù)據(jù)的平均基本誤差只有0.72%,具有較高的識別精度;實驗數(shù)據(jù)中較大的誤差主要來自較大的圖像傾斜,后續(xù)將在校正算法方面進行深入研究,以進一步提升識別精度。

影響儀表識別精度的因素還有鏡頭畸變和圖像傾斜等,實驗過程中使用相機本身鏡頭畸變較小,在儀表檢測前通過標定板對相機進行了標定,獲得了相機的內參和畸變系數(shù),用其對圖像進行了畸變矯正,基本上消除了鏡頭畸變的影響。

6 結束語

針對儀表自動檢測讀數(shù)時,由于儀表特征不明顯、復雜背景環(huán)境等因素造成的儀表檢測提取困難和速度慢的問題,筆者提出了基于YOLOv4的指針式儀表自動檢測和讀數(shù)方法,并在復雜的背景環(huán)境、光照、不同尺度等條件下,對算法進行了實驗驗證,并得出了以下結論:

(1)本研究算法消除了背景干擾,能夠快速地從背景中檢測提取出儀表,儀表檢測精度達到了98.6%,平均檢測速度為80.65 ms/f;

(2)實際讀數(shù)實驗表明,本研究的讀數(shù)方法可以準確地識別儀表讀數(shù),平均基本誤差為0.72%。

本研究算法能對全量程范圍角度為270°的指針式儀表實現(xiàn)檢測與讀數(shù)識別,后續(xù)通過優(yōu)化讀數(shù)識別算法提升了算法通用性;該算法在儀表傾斜、拍攝角度變化時能夠快速、精確地檢測出儀表,但傾斜和拍攝角度會影響讀數(shù)精度。

下一步筆者將在圖像校正算法方面進行研究,以消除圖像傾斜和拍攝角度對儀表讀數(shù)精度的影響。