元器件信息識(shí)別系統(tǒng)的設(shè)計(jì)及應(yīng)用

魯 然 ，徐永進(jìn)，李 晨，沈曙明，嚴(yán)華江，任 旭，武占河

（1.國(guó)網(wǎng)浙江省電力有限公司電力科學(xué)研究院，杭州 310014；2.華立科技股份有限公司，杭州 310023）

0 引言

隨著采集終端的逐步推廣與普及[1]，其產(chǎn)品的質(zhì)量及可靠性是行業(yè)關(guān)注的重點(diǎn)，而送檢的采集終端是否滿足樣品一致性要求，對(duì)產(chǎn)品質(zhì)量及可靠性有直接影響。采集終端元器件更改后，如未經(jīng)檢測(cè)而直接應(yīng)用于工作現(xiàn)場(chǎng)，將會(huì)存在批量性的質(zhì)量事故隱患[2-4]。目前國(guó)內(nèi)多個(gè)省級(jí)電力公司采取將送檢元器件信息識(shí)別進(jìn)行比對(duì)的方式來(lái)排除此類隱患[5-7]。現(xiàn)有的元器件信息識(shí)別工作從抽樣到比對(duì)全過(guò)程均采用人工作業(yè)[8-9]，無(wú)專用的信息識(shí)別系統(tǒng)裝置和處理技術(shù)[10-14]，存在人工比對(duì)工作量大，比對(duì)效率低，易出現(xiàn)漏判、錯(cuò)判等情況，信息識(shí)別質(zhì)量難以有效保證，給元器件在現(xiàn)場(chǎng)的安全運(yùn)行帶來(lái)風(fēng)險(xiǎn)與隱患[15-22]。

針對(duì)現(xiàn)有技術(shù)缺陷，為提高元器件信息識(shí)別可靠性及檢測(cè)效率，設(shè)計(jì)并實(shí)現(xiàn)了一種元器件信息識(shí)別系統(tǒng)。系統(tǒng)通過(guò)元器件信息采集裝置與圖像識(shí)別技術(shù)的結(jié)合，實(shí)現(xiàn)元器件信息識(shí)別從信息采集、信息處理到元器件的智能化比對(duì)工作。

1 系統(tǒng)組成及功能特點(diǎn)

元器件信息識(shí)別系統(tǒng)主要由硬件及軟件兩部分組成。該系統(tǒng)由待測(cè)采集終端位置自動(dòng)確定所需比對(duì)的對(duì)象，根據(jù)智能識(shí)別匹配原則，自動(dòng)完成對(duì)采集終端外觀信息、內(nèi)部元器件信息的采集及比對(duì)工作，并生成比對(duì)結(jié)果。系統(tǒng)基本功能模塊如圖1 所示。

圖1 系統(tǒng)基本功能模塊

1.1 硬件結(jié)構(gòu)

系統(tǒng)中硬件部分指信息采集裝置，分為機(jī)械運(yùn)動(dòng)單元和圖像采集單元。其內(nèi)部組成包括： 底座及360°旋轉(zhuǎn)的圓盤、工業(yè)級(jí)高分辨率主相機(jī)及輔相機(jī)、補(bǔ)償光源等。其中，底座及360°旋轉(zhuǎn)的圓盤屬于機(jī)械運(yùn)動(dòng)模塊，通過(guò)執(zhí)行運(yùn)動(dòng)控制軟件指令對(duì)待測(cè)采集終端進(jìn)行左右移動(dòng)、圓盤指定角度旋轉(zhuǎn)等動(dòng)作，實(shí)現(xiàn)待測(cè)采集終端的自動(dòng)機(jī)械對(duì)焦功能，完成對(duì)采集終端外觀及內(nèi)部元器件的信息采集工作。針對(duì)同一類產(chǎn)品可實(shí)現(xiàn)自動(dòng)信息識(shí)別，人工干預(yù)少，且通過(guò)側(cè)面增加一個(gè)相機(jī)的方式，對(duì)圓柱形高位置元器件以及絲印位于側(cè)面的元器件進(jìn)行側(cè)面360°方向信息采集。系統(tǒng)硬件結(jié)構(gòu)如圖2 所示。

1.2 軟件架構(gòu)

圖2 系統(tǒng)硬件結(jié)構(gòu)

1.2.1 系統(tǒng)軟件設(shè)計(jì)

元器件信息識(shí)別系統(tǒng)系統(tǒng)軟件基于.NET 平臺(tái)的多層技術(shù)架構(gòu)，軟件開(kāi)發(fā)采用C 語(yǔ)言、Python，運(yùn)行主機(jī)平臺(tái)支持Windows 7 操作系統(tǒng)，基本開(kāi)發(fā)工具為Pycharm。

元器件信息識(shí)別系統(tǒng)軟件架構(gòu)組成包括數(shù)據(jù)采集層、數(shù)據(jù)處理層和應(yīng)用平臺(tái)層，各層作用分別為：

（1）數(shù)據(jù)采集層： 可以通過(guò)以太網(wǎng)、RS232 及RS485 等接口與裝置進(jìn)行通信，讀取所需數(shù)據(jù)并存儲(chǔ)于數(shù)據(jù)庫(kù)中，供數(shù)據(jù)處理層進(jìn)行處理。

（2）數(shù)據(jù)處理層： 對(duì)數(shù)據(jù)采集層的數(shù)據(jù)進(jìn)行收集、匯總、處理及分析，通過(guò)歸類處理后將數(shù)據(jù)存儲(chǔ)于數(shù)據(jù)庫(kù)及系統(tǒng)中，可供需要時(shí)隨時(shí)調(diào)用。

（3）應(yīng)用平臺(tái)層： 可視化操作界面，通過(guò)軟件界面中各操作模塊獲取數(shù)據(jù)處理層數(shù)據(jù)，直觀地將各類數(shù)據(jù)展示于操作界面層，便于實(shí)時(shí)對(duì)裝置運(yùn)行狀態(tài)進(jìn)行監(jiān)測(cè)與操作。

系統(tǒng)軟件架構(gòu)如圖3 所示。

1.2.2 系統(tǒng)軟件功能組成

系統(tǒng)軟件包括運(yùn)動(dòng)控制軟件、信息處理軟件及元器件比對(duì)軟件。

3)0.6mm滲層刀片不論是在滲層厚度、組織硬度，還是在組織硬度梯度等方面，都介于其他兩種滲層刀片之間。雖然在部分位置上出現(xiàn)一定程度的崩刃現(xiàn)象，但磨損量比0.3mm滲層刀片要小，大部分情況下與0.9mm滲層刀片的磨損量相差不大，甚至磨損量比0.9mm滲層刀片要小，崩刃現(xiàn)象也比0.9mm滲層刀片出現(xiàn)的少。因此，0.6mm滲層刀片在磨損量上總體效果最好。

運(yùn)動(dòng)控制軟件控制信息采集裝置按照待測(cè)采集終端樣品類型進(jìn)行移動(dòng)與姿態(tài)調(diào)整，操控信息采集裝置進(jìn)行高精度機(jī)械運(yùn)動(dòng)。

信息處理軟件根據(jù)分析采集終端外觀銘牌信息、內(nèi)部元器件品牌信息、內(nèi)部元器件型號(hào)信息等特征值，運(yùn)用圖像識(shí)別技術(shù)進(jìn)行有針對(duì)性的信息處理工作。

圖3 系統(tǒng)軟件架構(gòu)

元器件比對(duì)軟件負(fù)責(zé)完成元器件比對(duì)工作，本模塊功能通過(guò)上位機(jī)軟件實(shí)現(xiàn)，將樣品信息與封樣的元器件清單逐一進(jìn)行比對(duì)、判斷，并以報(bào)告形式輸出結(jié)果，同時(shí)可將比對(duì)結(jié)果作為歷史數(shù)據(jù)保存于數(shù)據(jù)庫(kù)中。

2 關(guān)鍵技術(shù)

2.1 機(jī)械運(yùn)動(dòng)單元

機(jī)械運(yùn)動(dòng)單元包含底座運(yùn)動(dòng)模塊和相機(jī)運(yùn)動(dòng)模塊。底座上安裝可旋轉(zhuǎn)360°的圓盤以及帶有標(biāo)尺的測(cè)試平臺(tái)，圓盤上有帶凹槽的柔性?shī)A具。采集終端整機(jī)測(cè)試時(shí)放置于帶有標(biāo)尺的測(cè)試平臺(tái)上；采集終端內(nèi)部元器件測(cè)試時(shí)需將帶有元器件的線路板置于柔性?shī)A具的凹槽內(nèi)固定。底座運(yùn)動(dòng)模塊運(yùn)動(dòng)方式分為底座平臺(tái)水平移動(dòng)方式和圓盤360°方向旋轉(zhuǎn)方式，主要支持采集終端外觀圖像采集時(shí)的底座左右方向水平移動(dòng)，以及采集終端內(nèi)部元器件圖像采集時(shí)的圓盤360°旋轉(zhuǎn)運(yùn)動(dòng)。相機(jī)運(yùn)動(dòng)模塊運(yùn)動(dòng)方式為垂直升降式，主要支持主相機(jī)對(duì)采集終端外觀及元器件正面圖像采集過(guò)程中的調(diào)焦功能。

機(jī)械運(yùn)動(dòng)單元可實(shí)現(xiàn)工業(yè)相機(jī)的機(jī)械對(duì)焦功能，對(duì)焦成功后，由圖像采集單元對(duì)采集終端樣品信息進(jìn)行采集。針對(duì)較高元器件或圓柱形元器件的樣品信息采集流程，需要控制單元配合來(lái)實(shí)現(xiàn)機(jī)械對(duì)焦功能。由于正面相機(jī)的中心點(diǎn)與控制圓盤中心點(diǎn)一致，因此可以通過(guò)三角函數(shù)計(jì)算出圓盤旋轉(zhuǎn)后任意元器件的像素位置坐標(biāo)。正面圖像采集坐標(biāo)如圖4 所示，其中，A（a2，b2）為根據(jù)主相機(jī)采集的圖像信息確定的較高元器件或圓柱形元器件所在的像素位置坐標(biāo)，B（x，y）為元器件旋轉(zhuǎn)α 角度后的像素位置坐標(biāo)，O（a1，b1）為正面相機(jī)正下方原點(diǎn)像素位置，通過(guò)旋轉(zhuǎn)后兩邊相等，其公式如下：

根據(jù)余弦公式，可計(jì)算出AB 值，進(jìn)而根據(jù)坐標(biāo)值A(chǔ)（a2，b2）可推算出B 點(diǎn)坐標(biāo)值：

圖4 正面圖像采集坐標(biāo)

輔助相機(jī)對(duì)較高元器件或圓柱形元器件進(jìn)行側(cè)面圖像采集，其坐標(biāo)如圖5 所示。C 點(diǎn)為對(duì)焦位置，需要把元器件側(cè)面位置移動(dòng)到C 點(diǎn)平面上。根據(jù)坐標(biāo)B（x，y），計(jì)算其移動(dòng)到側(cè)面相機(jī)對(duì)焦位置C 點(diǎn)的距離f（x）為：

式中： x22為2 個(gè)相機(jī)中心點(diǎn)水平距離；z 為相機(jī)中心點(diǎn)到采集終端樣品水平面的距離；β 為輔相機(jī)與垂直方向夾角；a1為像素位置坐標(biāo)O（a1，b1）在x 軸上的投影（坐標(biāo)值）；x 為像素位置坐標(biāo)B（x，y）在x 軸上的投影（坐標(biāo)值）；A 為圖片坐標(biāo)像素與實(shí)際尺寸的比值系數(shù)。B（x，y）坐標(biāo)對(duì)側(cè)面相機(jī)對(duì)焦取水平x 軸坐標(biāo)，通過(guò)式（1）和式（2）求解得到B 點(diǎn)x 軸坐標(biāo)為：把x 帶入對(duì)焦位置式（3），即可求出對(duì)焦移動(dòng)距離f（x）。

2.2 圖像采集單元

圖5 側(cè)面圖像采集坐標(biāo)

2.3 信息處理軟件

信息處理軟件設(shè)計(jì)采用圖像識(shí)別技術(shù)對(duì)信息采集模塊采集到的采集終端外觀圖像及內(nèi)部元器件圖像進(jìn)行處理。其中，外觀信息主要為銘牌信息，內(nèi)部元器件信息主要為元器件的品牌與型號(hào)信息。根據(jù)這些信息的特點(diǎn)，提出對(duì)于富有設(shè)計(jì)性圖形圖案的銘牌及品牌信息的識(shí)別，采用模板匹配方法；而對(duì)于型號(hào)信息及字符類的品牌信息識(shí)別，采用基于深度神經(jīng)網(wǎng)絡(luò)的文本識(shí)別方法。

2.3.1 模板匹配法

模板匹配方法研究某一特定圖案在圖像中的位置，其原理為在待檢測(cè)圖像上，從左到右、從上向下計(jì)算模板圖像與重疊子圖像的匹配度，匹配程度越大，兩者相同的可能性越大。其中，采用標(biāo)準(zhǔn)相關(guān)性系數(shù)R 計(jì)算模板與子圖像的匹配度，即計(jì)算模版對(duì)其均值的相對(duì)值與子圖像對(duì)其均值的相對(duì)值的內(nèi)積，如式（5）所示：

式中： T′為模板圖像；I′為待匹配子圖像；x′為模板圖像的像素值橫坐標(biāo)；y′為模板圖像的像素值縱坐標(biāo)；x 為待匹配子圖像的像素值橫坐標(biāo)；y 為待匹配子圖像的像素值縱坐標(biāo)；T′（x′，y′）為減去均值的模板像素值；I′（x+x′，y+y′）為減去均值的子圖像像素值。

以用電信息采集領(lǐng)域常見(jiàn)的micron 存儲(chǔ)芯片為例，其品牌信息為富有設(shè)計(jì)性的圖形圖案組成，以此進(jìn)行模板匹配測(cè)試。首先截取存儲(chǔ)芯片各個(gè)方向、各種形態(tài)下的清晰圖像作為品牌模板圖像，同時(shí)將該元器件品牌中英文全稱、縮寫與之關(guān)聯(lián)，并標(biāo)注后保存于品牌模板庫(kù)中，如圖6所示。進(jìn)行元器件匹配識(shí)別時(shí)，將品牌模板庫(kù)中的所有品牌模板與待匹配元器件圖像進(jìn)行匹配，根據(jù)標(biāo)準(zhǔn)相關(guān)性系數(shù)R 計(jì)算模板與子圖像的匹配度，匹配度在95%以上，默認(rèn)將品牌模板庫(kù)中關(guān)聯(lián)的品牌信息以客戶指定格式映射輸出。圖7為待匹配元器件圖像，圖8 為匹配結(jié)果，其中以白色框標(biāo)識(shí)識(shí)別到的品牌圖案。

圖6 品牌模板圖像

圖7 待匹配元器件圖像

圖8 匹配結(jié)果

2.3.2 基于深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的文本識(shí)別法

基于深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的文本識(shí)別法，首先需要進(jìn)行文本檢測(cè)，即確定文本的位置，然后進(jìn)一步識(shí)別檢測(cè)到的文本圖像中的文本序列信息。傳統(tǒng)技術(shù)解決方案中，分別訓(xùn)練文字檢測(cè)和文本識(shí)別2 個(gè)模型，然后在服務(wù)實(shí)施階段將2 個(gè)模型串聯(lián)到數(shù)據(jù)流水線中組成圖文識(shí)別系統(tǒng)。該類方法需要執(zhí)行2 次特征提取的計(jì)算，較為繁瑣。本解決方案中將文本檢測(cè)與文本識(shí)別2 個(gè)目標(biāo)融入到一個(gè)框架中，采用多目標(biāo)網(wǎng)絡(luò)直接訓(xùn)練端到端的模型，不僅可以共享特征，而且文本檢測(cè)與文本識(shí)別相輔相成，達(dá)到更高的識(shí)別精度。在訓(xùn)練階段，模型的輸入是訓(xùn)練圖像及圖中文本坐標(biāo)、文本內(nèi)容，模型優(yōu)化目標(biāo)是文本框坐標(biāo)預(yù)測(cè)誤差與文本內(nèi)容預(yù)測(cè)誤差的加權(quán)和。在服務(wù)實(shí)施階段，將原始圖片輸入訓(xùn)練好的模型，直接輸出預(yù)測(cè)文本信息。相比于傳統(tǒng)方案，該方案中模型訓(xùn)練效率更高、服務(wù)運(yùn)營(yíng)階段資源開(kāi)銷更少。

以較高元器件Rubycon 電解電容為例，其元器件信息包含型號(hào)信息及字符類的品牌信息識(shí)別，以此進(jìn)行基于深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的文本識(shí)別功能測(cè)試。文本識(shí)別模型如圖9 所示。

圖9 文本識(shí)別網(wǎng)絡(luò)模型

圖9 中輸入圖片由圖像采集單元對(duì)電解電容進(jìn)行側(cè)面圖像采集，因電解電容的形狀為圓柱形，其元器件信息印刷位置具有不一致性，因此采取對(duì)電解電容前、后、左、右4 個(gè)方向進(jìn)行圖像采集。

通過(guò)文本檢測(cè)與識(shí)別網(wǎng)絡(luò)對(duì)元器件上的文本進(jìn)行較為準(zhǔn)確的檢測(cè)及識(shí)別，但出現(xiàn)了文本框重疊的現(xiàn)象，因此，需對(duì)預(yù)測(cè)結(jié)果進(jìn)行重疊的判斷及消除重復(fù)識(shí)別字符的處理。由于重疊現(xiàn)象均發(fā)生在同一行文本中，所以首先對(duì)文本框的縱坐標(biāo)進(jìn)行判斷，若2 個(gè)文本框的縱坐標(biāo)相似，則可判斷其為同一行。如圖10 所示，左側(cè)文本框的頂點(diǎn)坐標(biāo)為Bi（Xi，Yi），i∈[1，2，3，4]，右側(cè)文本框的頂點(diǎn)坐標(biāo)為Ri（xi，yi），i∈[1，2，3，4]，計(jì)算2 個(gè)文本框在x 方向的重疊率，如式（6）所示：

式中： B1（X1，Y1），B2（X2，Y2），B3（X3，Y3），B4（X4，Y4）為左側(cè)文本框中的4 個(gè)頂點(diǎn)坐標(biāo)；R1（x1，y1），R2（x2，y2），R3（x3，y3），R4（x4，y4）為右側(cè)文本框中的4 個(gè)頂點(diǎn)坐標(biāo)；D 為2 個(gè)文本框在x 方向的重疊率。

圖10 文本框交疊示意

若重疊率D 大于閾值，則可判斷2 個(gè)文本框位于同一行，進(jìn)一步判斷是否有重疊。首先判斷左側(cè)文本框最后一個(gè)字符和右側(cè)文本框第一個(gè)字符是否為同一字符，若2 個(gè)字符不相同，則判斷2 個(gè)文本框未重疊；若2 個(gè)字符相同，比較y 方向重疊長(zhǎng)度（y4-Y1）和單個(gè)字符長(zhǎng)度l，若y4-Y1＞0.5l，則判斷2 個(gè)文本框重疊一個(gè)字符。通過(guò)以上方式，去除文本識(shí)別結(jié)果中的重復(fù)字符，并將所有識(shí)別出的字符串按照從上向下、從左向右的順序串聯(lián)為一個(gè)字符串。例如，圖9 中所有識(shí)別出的字符串串聯(lián)為一個(gè)字符串為“yxjy20 μ f25v2200 μ f 25v0rubyconr2rubycon3”。最后，在識(shí)別出的長(zhǎng)字符串中查找廠家給出的型號(hào)字符串（YXJ 25v2200μF）和品牌字符串（Rubycon）。

2.4 元器件比對(duì)軟件

元器件比對(duì)軟件通過(guò)與封樣的元器件清單進(jìn)行采集終端內(nèi)部元器件比對(duì)，與地方供貨要求文件進(jìn)行銘牌信息比對(duì)。識(shí)別的結(jié)果與元器件清單進(jìn)行比對(duì)，輸出包含具有元器件信息、銘牌信息及匹配置信度信息的結(jié)論。比對(duì)結(jié)果可分為2 種形式體現(xiàn)。第一種是在界面上，識(shí)別結(jié)果根據(jù)用戶需求設(shè)計(jì)以列表的形式可視化展示，對(duì)于不同的識(shí)別結(jié)果可自定義使用不同的顏色背景加以區(qū)分，使用戶方便找到不合格的元器件，如圖11所示；第二種是直接生成結(jié)果文件，用戶可定制報(bào)告的基礎(chǔ)信息，根據(jù)報(bào)告模板，在需要時(shí)生成需要的文件格式的比對(duì)報(bào)告，如表1 所示。

表1 采集終端樣品比對(duì)實(shí)驗(yàn)結(jié)果

圖11 界面可視化比對(duì)結(jié)果

3 系統(tǒng)運(yùn)行效果與分析

文中根據(jù)采集終端元器件的不同特征，采用不同的信息采集方法及信息處理方法，信息處理的結(jié)果以與封樣的采集終端元器件清單進(jìn)行比對(duì)為例，輸出包含具有元器件信息及匹配置信度信息的結(jié)論。對(duì)于型號(hào)與品牌全部與所提供元器件清單一致的元器件，置信度為1，結(jié)論為合格；對(duì)于所識(shí)別的信息與元器件清單部分一致的，通過(guò)計(jì)算得出其置信度值，根據(jù)應(yīng)用方需求設(shè)計(jì)，如置信度值小于1，判定結(jié)論為不合格；對(duì)于未能識(shí)別的元器件或所識(shí)別的元器件不是目標(biāo)元器件，置信度為0 或者小于0.5，結(jié)論為不合格。某公司的采集終端樣品比對(duì)實(shí)驗(yàn)結(jié)果見(jiàn)表1。

4 結(jié)語(yǔ)

本元器件信息識(shí)別系統(tǒng)的應(yīng)用提高了元器件信息識(shí)別系統(tǒng)的成功率，同時(shí)提高了采集終端樣品比對(duì)環(huán)節(jié)的檢測(cè)效率，可以有效代替人工作業(yè)，并且進(jìn)一步促進(jìn)了采集終端樣品比對(duì)檢測(cè)技術(shù)的升級(jí)，具有較好的推廣前景與應(yīng)用價(jià)值。