摘" 要: 為提高X、γ劑量率儀檢定、校準的自動化程度,提出一種基于計算機視覺的X、γ劑量率儀數字識別系統(tǒng)。該系統(tǒng)可實現攝像頭視頻采集、采集圖像預處理、儀表圖像的文本檢測與識別以及識別結果的后處理。分別采用DBNet與CRNN?CTC作為文本檢測與文本識別的模型,比較不同骨干網絡結構對模型的影響。在平衡準確性和速度指標后,選擇MoblieNetV3作為文本檢測和識別模型的骨干網絡,對32種常見的X、γ劑量率儀進行識別實驗。結果表明:經算法過濾后,儀器識別準確率可達到100%;對于絕大部分儀器,使用數字識別系統(tǒng)效率可以提高20%以上,但是對于顯示界面刷新面積較大的儀器,攝像機難以識別,仍需要人工檢定。
關鍵詞: 數字識別系統(tǒng); 機器視覺技術; 深度學習; 圖像處理; 文本檢測; 文本識別; 計量檢定
中圖分類號: TN911.73?34; TP274" " " " " " " " 文獻標識碼: A" " " " " " " " " " "文章編號: 1004?373X(2025)06?0118?09
X、γ doserate meter digital recognition system based on computer vision technology
WANG Yuqing1, 2, 3, HUANG Zhenglin1, LIU Xinhao1, LI Yingguo1, WEI Yingjing1, 4
(1. China Institute for Radiation Proctection, Taiyuan 030006, China;
2. Shanxi Key Laboratory for Radiation Safety and Protection, Taiyuan 030006, China;
3. CNNC Key Laboratory for Radiation Protection Technology, Taiyuan 030006, China;
4. Institute of Nuclear and New Energy Technology, Tsinghua University, Beijing 100084, China)
Abstract: In order to improve the automation degree of X、γ doserate meters verification and calibration, a X、γ doserate meter digital recognition system based on computer vision technology is proposed. The system can realize camera video acquisition, collected image preprocessing, text detection and recognition of instrument images and post?processing of recognition results. DBNet and CRNN?CTC (convolutional recurrent neural network?connectionist temporal classification) are used as text detection and text recognition model, respectively, and the impact of different backbone networks on models is compared. After balancing accuracy and speed indicators, MoblieNetV3 is selected as the backbone network for text detection and recognition model. The recognition tests were conducted on 32 common X、γ doserate meters. The results show that after the filtering algorithm, the instrument recognition accuracy can reach 100%. For most of the instruments, the use of digital recognition system can improve the efficiency of more than 20%, but for the display interface refresh area of large instruments, the camera is difficult to identify, still need manual verification.
Keywords: digital recognition system; machine vision technology; deep learning; image processing; text detection; text recognition; metrological verification
0" 引" 言
隨著我國核技術在眾多領域的快速發(fā)展,輻射監(jiān)測能力建設已成為重要課題。X、γ射線空氣比釋動能標準裝置是應用最廣泛的電離輻射計量標準,常用的環(huán)境輻射監(jiān)測儀表等設備均需通過此類計量標準進行溯源。然而,目前大部分空氣比釋動能標準裝置進行儀表檢定時,很大程度上依賴人工讀數,在帶來人為誤差的同時還存在檢測效率偏低的問題。
在計量檢定領域,自動化裝置代替人工重復性工作已成為發(fā)展趨勢[1?2]。文獻[3]建立了基于視覺技術的金屬量器自動檢定裝置,效率提高30%以上。文獻[4]建立了基于機器視覺技術的全自動水表檢定裝置,經實驗驗證,該裝置有效解決了水珠、氣泡等對水表讀數的干擾,實現了水表的自動檢定。然而,在電離輻射計量領域,自動化設備發(fā)展較為落后。
當前,機器視覺技術在光學字符識別(OCR)中得到了廣泛的應用[5?6],儀表數字識別系統(tǒng)便是OCR技術的一種實際使用[7?8]。儀表數字識別系統(tǒng)的主要目的是:通過圖像處理技術,以機器視覺的方式識別光學傳感器傳回的儀表圖像中的數據。將OCR技術應用于計量檢定中有利于提高工作效率,減少人員工作強度,降低人為誤差。本文根據電離輻射檢定的實際應用場景,基于機器視覺技術建立了X、γ劑量率儀的自動識別、檢定系統(tǒng)?;陂_發(fā)的數字識別系統(tǒng),對當前常用的多款X、γ劑量率儀進行了識別、檢定,并對儀表數字識別系統(tǒng)的識別成功率、檢定效率進行了統(tǒng)計、分析。
1" 數字識別系統(tǒng)構成
圖1所示為X、γ劑量率儀數字識別系統(tǒng)的結構,處理流程可以分為五個部分,即圖像讀取、圖像預處理、識別模型運算、運算結果后處理、原始數據及證書生成。首先讀取輻照室內儀表讀數攝像頭的圖像作為數據源,在文本識別前需要對圖像進行預處理,以減少計算資源并提高OCR的準確率。完成預處理后,基于DBNet以及CRNN?CTC模型,完成對儀表圖像的文本檢測及文本識別。通過對識別結果進行后處理來提高識別準確率,在完成所有測量點的數據識別后,基于各測量點數據對儀表的統(tǒng)計漲落、校準因子、相對固有誤差、相對擴展不確定度等進行計算,并將計算結果導入證書模板,實現證書的生成。
2" 算法實現
2.1" 圖像預處理
圖像預處理是基于OpenCV庫實現對圖像的二值化、傾斜校正、裁切等操作,以提升文本識別過程中的處理速度以及識別成功率。圖像預處理流程如圖2所示。
2.1.1" 圖像二值化
攝像機獲得的彩色圖像會占用大量存儲空間及運算時間,因此需要二值化處理以減少數據維度。圖像二值化的算法采用最大類間方差法(OTSU法)[9]。最大類間方差的計算公式如下:
式中:N0和N1是前景和背景的像素個數;ω0和ω1分別是前景和背景的比例;μ0和μ1分別是前景和背景像素的平均灰度;μ是整個圖像的平均灰度;g是要求的最大類間方差,當取得合適的閾值使類間方差g最大化,該閾值就是二值化的最佳閾值。
2.1.2" 圖像傾斜校正
圖像存在傾斜會導致文字檢測不全,進而影響后續(xù)識別結果?;谥本€識別實現傾斜圖像的校正,原理是利用霍夫變換[10]從圖像中檢測到對應的直線,計算直線之間的角度來判斷圖像的傾斜角度,并進行旋轉。
2.1.3" 圖像裁切
儀表顯示界面除劑量率示數外還包含其他文字信息,這些文字在處理時會占用大量系統(tǒng)資源,同時給提取有效信息帶來了負面影響,因此需要進行圖像裁切,即提取圖像中感興趣區(qū)域(RoI區(qū)域)。為實現圖像裁切功能,基于OpenCV庫構造了圖像裁切控件,該控件可實現裁切區(qū)域的拖動、放大、縮小。
2.2" 深度學習算法
2.2.1" 文本檢測
本文采用DBNet模型實現文本檢測。DBNet的工作原理如圖3所示[11]。輸入一張圖像,經過骨干網絡的卷積操作進行特征提取,隨后進行上采樣操作。上采樣的過程是把[132]特征圖通過插值放大到原圖的[116],然后與前一步驟的[116]特征圖融合,得到新的[116]特征圖;再進行相同的操作得到新的[18]特征圖與[14]特征圖;然后對輸出的4個特征圖分別上采樣到一樣大小,進行一個concat操作,得到[14]融合特征圖;最后對該特征圖進行插值,得到原圖大小。網絡的輸出分為兩個部分,一個是概率圖(代表像素點是文本的概率),另一個是閾值圖(每個像素點的閾值)。使用可微二值化公式將概率圖與閾值圖轉化為二值圖,最后經過后處理,得到文本框的坐標。
2.2.2" 文本識別
文本識別基于CRNN來實現,如圖4所示。圖中:(1,32,100)表示單通道、32高度、100寬度。整個CRNN網絡結構[12]從下到上依次為:卷積層(CNN)、循環(huán)層(RNN)、轉錄層(CTC loss)。
1) 卷積層:將輸入的圖像轉化為具有特征信息的特征圖。為了使提取的特征圖尺寸相同,輸入的圖像預先要縮放到固定的大小。
2) 循環(huán)層:由雙向遞歸神經網絡(BiRNN)構成,實現對特征序列的預測。對序列中的每個特征向量進行學習,并輸出逐幀預測結果分布。
3) 轉錄層:其作用是將前面通過CNN層和RNN層得到的預測序列采用去重整合等操作轉換成最終的識別結果。本文使用CTC loss把從循環(huán)層獲取的一系列標簽分布轉換成最終的標簽序列,同時CTC loss解決了預測結果和標簽不一致的問題。
2.2.3" 訓練集構建
文本檢測與識別模型均采用預訓練模型進行二次訓練。預訓練模型基于大量數據集完成訓練,即參數權重已預置,可以幫助模型在新的數據集上更快收斂,從而能夠達到更好的性能。
二次訓練數據集來自于中國輻射防護研究院放射性計量站檢定工作中記錄的X、γ劑量率儀圖像,共3 000張圖像,其中300張用于模型評估。檢測模型訓練時批數據量取16,學習率取10-3,迭代訓練次數取500。識別模型訓練時批數據量取64,學習率取10-4,迭代訓練次數取120。
2.2.4" 網絡結構
在深度學習中,通常將模型分為三部分:骨干網絡(backbone)、中間網絡(neck)和檢測頭(head)。其中,骨干網絡是模型的主要部分,負責提取輸入圖像的特征信息。目前常用的骨干網絡有ResNet[13]、VGGNet[14]、ResNeXt[15]等具有優(yōu)秀的特性提取性能的深度卷積神經網絡,也有例如MobileNet[16]、GhostNet[17]等更加快速高效的輕量級網絡。為優(yōu)化數字識別系統(tǒng)的網絡結構,本文采用兩類結構中性能較好的ResNet與MobileNet進行了對比。在分類任務中,評價模型性能的指標有準確率(Acc)、精確率(P)、召回率(R)、F1指數(F1),其中F1指數是精確率和召回率的一個加權平均,計算公式如下:
式中:TP表示被正確預測的正例;TN表示被正確預測的反例;FP表示被錯誤預測的正例;FN表示被錯誤預測的反例。
在文本檢測階段,采用P、R、F1評價模型的準確性;在文本識別階段,采用Acc評價模型的準確性。不同骨干網絡的預測性能對比結果如表1所示。
表1中,MobileNet的模型通道數縮放比例分別設置為0.35、0.5、1,ResNet層數分別設置為18、34、50??梢钥吹組obileNet在推理時間上普遍優(yōu)于ResNet 2倍以上,且準確率差距在可接受范圍內。為保證模型實際應用時的快速性,本文選取MobileNetV3_x1作為骨干網絡結構。
2.3" 后處理算法
2.3.1" 劑量率提取
文本識別的結果包含多個文本框內容,需要從中提取出所關注的X、γ劑量率數值。本文設計了一種提取劑量率的OCR后處理算法,該算法步驟如下。
1) 將RoI區(qū)域內提取到的所有文本框進行初步篩選,若文本框內包含的字符串可以轉換為浮點數,則可判定該文本框內為數字信息。
2) 若滿足步驟1)的文本框只有1個,則該數字為劑量率;若滿足條件的文本框不止1個,則繼續(xù)篩選文本框內包含“Sv”或“Gy”的文本,該文本框即為劑量率單位文本框。
3) 讀取各數字文本框及劑量率單位文本框的圖像坐標,若數字文本框坐標位于劑量率單位文本框左側,則說明該數字為X、γ劑量率數值。
2.3.2" 數字跳變處理
X、γ劑量率儀的顯示面板主要分為LCD顯示屏和段碼液晶屏兩類。LCD顯示屏一般為常亮;段碼液晶屏以數碼管的形式顯示數字,存在數字刷新的過程。段碼液晶屏刷新時,并不是所有數碼管同時變化,因而會導致界面上出現一些非數字的內容,如圖5所示。數字跳變會嚴重影響識別準確率,為此,本文設計了一種針對數字跳變的后處理算法,該算法思路為:
1) 讀取攝像機傳回圖像,并延遲100 ms重新讀取,將兩幅圖像保存至內存;
2) 將上述2幅圖像進行文本識別,并比對所有文本識別結果,若2幅圖像的識別結果相同,則說明這兩幅圖像采集過程中沒有發(fā)生數字跳變,可將OCR結果保留;若識別結果不同,則將本次識別結果作廢,等待下一采集周期數據重新識別。
3" 數字識別系統(tǒng)性能測試
3.1" 實驗概述
在中國輻射防護研究院放射性計量站環(huán)境級γ參考輻射場開展了模擬檢定實驗,實驗裝置如圖6所示。本次實驗參考點約定值覆蓋單位數級、十數級、百數級以及小數級,如表2所示。
本次實驗測試了32種常見的X、γ劑量率儀及個人劑量計。各儀表在表2所述的每個參考點記錄了100個示數,即每款儀表共測量了400張圖像,對識別成功率、識別效率進行了統(tǒng)計,實驗設計的數據讀取間隔為1 s。
3.2" 圖像分析
以儀表型號為JF310的X、γ劑量率儀為例,在上述每個參考點實時識別了400個儀表示數,共1 600張圖像。經統(tǒng)計,OCR識別成功率為100%,且不會受到不同數量級數字的影響,所有圖像均可準確分割、識別出ROI區(qū)域內的X、γ劑量率數值。圖7所示為不同參考點的部分識別結果。其中識別結果為系統(tǒng)分析所得儀表示數;識別率表示模型匹配度,越接近1則匹配度越高。
從圖7b)中可以看到,即使截取圖像時存在輕微的數字跳變現象,也可以正常識別示數,說明后處理算法有效增加了OCR的抗干擾能力。
圖8所示為幾種常見的X、γ劑量率儀的識別結果。
從圖8可以看到,盡管不同儀表的字體、背景顏色、文本顏色、傾斜角度均不同,但OCR系統(tǒng)仍可以精確檢測到數字文本并正確識別,說明深度學習模型可以有效提取圖像特征且模型參數已達到最優(yōu)。
3.3" 準確率分析
被測儀表參數及測試結果見表3,表中標識“*”為進口儀表。
分析準確率可看出,除三款進口儀表6150AD、451P和FH40G?L10外,OCR識別系統(tǒng)的文本識別準確率均為100%。分析識別錯誤圖像發(fā)現,識別錯誤來源于數字的漏選以及小數點的錯誤識別或遺漏。
這些進口儀表錯誤識別結果在識別序列中體現為突然上漲或下降的“毛刺”,如圖9所示。
利用該特點可以對識別結果序列進行過濾,具體流程如下。
1) 將識別結果按照先后順序保存至數組內,數組長度與需要導入的數字數量相關,以JJG 521—2006檢定規(guī)程[18]為例,測量重復性時需要測量20次,則數組長度為30,其中多余10個數字作為備用,以便出現錯誤識別結果時對其替換。
2) 選取上述數組的后20個數字作為識別結果序列,并計算其中位數。
3) 判斷序列內數字與中位數的比值是否小于2,若滿足則保留,否則將該數剔除。
4) 經步驟3)過濾后,若結果序列中存在被剔除數字,則將備用數組中的數字插入結果序列中,并重新進行步驟3)的數字過濾流程,直至結果序列中不存在錯誤識別的“毛刺”。
為驗證識別結果過濾算法的效果,對型號為6150AD、451P和FH40G?L10的劑量率儀重新進行OCR識別實驗,經過濾后,OCR識別成功率均達到100%,說明該算法可以有效剔除錯誤識別結果。
3.4" 識別效率分析
分析測試結果的識別用時可以看出:在大多數情況下,使用OCR識別系統(tǒng)可有效提高檢定效率,效率提升基本在20%以上;但有個別情況會出現識別系統(tǒng)效率遠低于人工識別的情況,例如儀表型號為BY211B和FRD1020,出現這種現象的主要原因是顯示界面刷新面積過大,攝像機截取圖像時數字被嚴重遮擋,導致無法識別。這類儀表無法使用軟件進行檢定,仍需要人工檢定。
4" 結" 語
本文基于OCR視覺技術,提出了X、γ劑量率儀數字識別系統(tǒng)。該系統(tǒng)基于OpenCV實現了視頻采集及采集圖像的預處理;基于DBNet和CRNN?CTC模型,實現了儀表圖像的文本檢測及識別。對比了不同骨干網絡結構對于文本檢測與識別模型的影響,均衡識別準確性與識別快速性指標后,選擇MoblieNetV3_x1作為骨干網絡。針對X、γ劑量率儀的顯示界面特點,設計了劑量率提取及數字跳變錯誤處理的后處理算法。測試結果表明,后處理算法可以有效提取關鍵信息,且增加了OCR的抗干擾能力。
對32種常見的X、γ劑量率儀進行了識別測試。測試結果表明,除三款進口儀表6150AD、451P和FH40G?L10外,數字識別系統(tǒng)的文本識別準確率均為100%。為解決這三款儀表的錯誤識別問題,提出了OCR識別結果序列過濾算法,經算法過濾后,OCR識別準確率均達到100%。另外,對于大部分儀表來說,使用數字識別系統(tǒng)可提升20%以上的工作效率,但對于顯示界面刷新面積過大的儀表,攝像機截取圖像時數字被嚴重遮擋,導致無法識別,仍需要人工檢定。綜上,X、γ劑量率儀數字識別系統(tǒng)具有較高的準確性,且有助于提高工作效率,降低人員重復工作。
參考文獻
[1] STROUSE G F, MANGUM B W, VAUGHN C D, et al. A new NIST automated calibration system for industrial?grade platinum resistance thermometers [EB/OL]. [2024?04?21]. https://tsapps.nist.gov/publication/get_pdf.
[2] GUDKOV K V, MIKHEEV M Y, YURMANOV V A, et al. A method of automatic verification of Coriolis flowmeters in the field [J]. Measurement techniques, 2012(55): 151?155.
[3] 張東飛,郝華東,陳曹浪,等.基于視覺技術的金屬量器自動檢定裝置[J].電子測量技術,2021,44(13):91?96.
[4] 鄭博文.基于機器視覺技術的全自動水表檢定裝置研制[J].中國測試,2021,47(z2):149?152.
[5] 徐建輝,王永華,萬頻,等.基于機器視覺的外觀尺寸測量及OCR識別檢測系統(tǒng)的設計[J].儀器儀表用戶,2017,24(5):4?7.
[6] ARICA N, YARMAN?VURAL F T. An overview of character recognition focused on off?line handwriting [J]. IEEE transactions on systems, man, and cybernetics, 2001, 31(2): 216?233.
[7] 黃穎怡,汪仁煌,岳利軍.機器視覺儀表識別方法的研究進展[J].自動化儀表,2009,30(8):58?60.
[8] 喬彩風,宋世軍,何忠.數字視頻監(jiān)控系統(tǒng)的智能化實現[J].計算機與現代化,2008,7(12):45?48.
[9] OTSU N. A threshold selection method from gray?level histograms [J]. Automatica, 1975, 11(285/296): 23?27.
[10] DUDA R O, HART P E. Use of hough transformation to detect lines and curves in pictures [J]. Communications of the ACM, 1972, 15(1):11?15.
[11] LIAO M, WAN Z, YAO C, et al. Real?time scene text detection with differentiable Binarization [J]. AAAI conference on artificial intelligence, 2019(34): 11474?11481.
[12] SHI B, BAI X, YAO C. An end?to?end trainable neural network for image?based sequence recognition and its application to scene text recognition [J]. IEEE transactions on pattern analysis and machine intelligence, 2017(39): 2298?2304.
[13] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]: IEEE, 2016: 770?778.
[14] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large?scale image recognition [EB/OL]. [2023?12?07]. https://arxiv.org/pdf/1409.1556v6.
[15] XIE S, GIRSHICK R, DOLLAR P, et al. Aggregated residual transformations for deep neural networks [C]// Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE, 2017: 5987?5995.
[16] HOWARD A, SANDLER M, CHEN B, et al. Searching for MobileNetV3 [C]// 2019 IEEE/CVF International Conference on Computer Vision (ICCV). Seoul, South Korea: IEEE, 2020: 1314?1324.
[17] HAN K, WANG Y, TIAN Q, et al. GhostNet: more features from cheap operations [C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, WA, USA: IEEE, 2020: 1577?1586.
[18] 上海市計量測試技術研究院.環(huán)境監(jiān)測用X、γ輻射空氣比釋動能(吸收劑量)率儀檢定規(guī)程:JJG 521—2006[S].北京:中國標準出版社,2006.
作者簡介:王雨青(1997—),男,山西太原人,碩士研究生,助理研究員,工程師,主要從事機器視覺、自動控制及電離輻射計量方面的研究。
收稿日期:2024?05?21" " " " " "修回日期:2024?06?28