基于圖像識別的復(fù)雜裝備狀態(tài)辨識*

劉丙杰，楊繼鋒，史文森

(海軍潛艇學(xué)院， 山東青島 266199)

0 引言

復(fù)雜裝備一般具有流程繁多、狀態(tài)變化頻繁、數(shù)據(jù)非線性變化等特點。在復(fù)雜裝備運(yùn)行期間，往往需要對裝備狀態(tài)實時判讀，用于實時監(jiān)測評估裝備狀態(tài)。但是，由于復(fù)雜裝備狀態(tài)變化頻繁，不同流程下裝備狀態(tài)變化規(guī)律不同，特別是部分狀態(tài)一閃而過，人工監(jiān)測和評估難度很大且容易出錯，這給復(fù)雜裝備狀態(tài)辨識帶來很大困難。

復(fù)雜裝備狀態(tài)辨識方法一般包括基于數(shù)據(jù)驅(qū)動的方法[1-2]，基于解析模型的方法[3]，基于計算機(jī)仿真的方法[4]等。但是，基于圖像識別的裝備狀態(tài)辨識文獻(xiàn)較少。

文中采用圖像識別的方法通過采集裝備圖像，進(jìn)行圖像分割、圖像識別，識別裝備狀態(tài)，通過與期望裝備狀態(tài)向量進(jìn)行比較實現(xiàn)裝備狀態(tài)辨識。

1 復(fù)雜裝備狀態(tài)識別描述

裝備狀態(tài)識別可描述為：

(1)

(2)

式中:X為輸入裝備圖像；h(·)為圖像識別函數(shù)，文中h(·)為深度卷積神經(jīng)網(wǎng)絡(luò)；θ為h(·)的內(nèi)部參數(shù)。

2 基于圖像識別的裝備狀態(tài)辨識技術(shù)體系

裝備圖像識別技術(shù)體系如圖1所示。

圖1 裝備圖像識別技術(shù)體系

首先對裝備進(jìn)行邊界判定，確定識別區(qū)域，快速校對。然后根據(jù)裝備部件邊界對識別區(qū)域進(jìn)行劃分，在此基礎(chǔ)上進(jìn)行圖像分割。接著識別各區(qū)域圖像狀態(tài)，并與裝備狀態(tài)進(jìn)行對比，最后判定裝備狀態(tài)。

2.1 識別邊界判定

為了使得圖像采集設(shè)備與裝備能夠快速匹配，提高校對效率，每臺裝備上安裝了邊界識別標(biāo)簽，攝像頭通過識別標(biāo)簽位置實現(xiàn)裝備與攝像頭的快速校對。

2.2 圖像分割

典型復(fù)雜裝備由眾多部件組成，需識別的部件包括指示燈、儀表、開關(guān)、數(shù)碼表等，同一個裝備可能由幾十甚至成百個部件組成，部件形狀有圓形、方形、矩形等，每一種部件有多種狀態(tài)，所有部件的狀態(tài)組合就形成了裝備狀態(tài)。為了識別裝備狀態(tài)，就需要對裝備進(jìn)行圖像分割。

復(fù)雜裝備具有結(jié)構(gòu)龐大、信息流程復(fù)雜、顯示信息多等特點。但是復(fù)雜系統(tǒng)的顯示信息一般都有規(guī)則形狀，而且顯示部件之間都有較明顯的分割線。根據(jù)研究對象圖像特點，文中采用基于邊緣檢測的圖像分割方法實現(xiàn)復(fù)雜裝備的圖像分割[5]。

2.3 圖像狀態(tài)識別

對于劃分的區(qū)域圖像，分別采用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行狀態(tài)識別。

1)部件類型識別

文中所述的復(fù)雜裝備顯示部件類型包括：指示燈、儀表、數(shù)字面板、開關(guān)、綜合顯示器等。采用K-均值算法對分割出的對象進(jìn)行分類，其基本思想是：根據(jù)圖像分割狀態(tài)，對每個分割圖像與已知圖像進(jìn)行對比識別，確定各分割圖像類型，算法步驟如下：

Step1:根據(jù)第i個分割圖像與已知圖像的距離，確定圖像相似度；

Step2:根據(jù)圖像相似度，確定分割圖像類型。

2)指示燈狀態(tài)識別

裝備指示燈狀態(tài)分為亮、滅兩種狀態(tài)。HSI空間常用于彩色匹配實驗，比較適合于飽和度和亮度描述。

假設(shè)待識別信號燈共有m種不同的顏色狀態(tài)，HSI 空間指示燈識別算法步驟為：

Step1:選擇照度不同的n個時刻，每時刻拍攝該指示燈不同顏色狀態(tài)的圖像各1張，采集到m×n張圖像，計算出每張圖像中信號燈區(qū)域的R、G、B各分量均值，歸一化后的R、G、B各分量均值記為：Rij,Gij,Bij。

Step2:分別對n種顏色狀態(tài)求出某段時間內(nèi)的R、G、B分量均值[6]：

(3)

式中：Ri、Gi、Bi分別表示指示燈在第i種顏色狀態(tài)下，某段時間內(nèi)紅、綠、藍(lán)三色各分量的均值，然后按如下公式轉(zhuǎn)換為HSI值，記為Ai=(Hi,Si,Ii)。

I=(R+G+B)/3

(4)

S=I-[3/(R+G+B)][min(R,G,B)]

(5)

(6)

(7)

Step3:求出待識別圖像信號燈區(qū)域的R、G、B各分量均值，歸一化后轉(zhuǎn)化為HSI 顏色，記為B=(H,S,I)。

Step4:將每個Ai與B相匹配，求出m個相似距離值，則：

A={Ai|min(|Ai-B|)}

(8)

3)儀表狀態(tài)識別

裝備常用儀表如圖2所示。

圖2 裝備儀表圖示

儀表狀態(tài)識別分為如下3個步驟：

①量程識別

根據(jù)裝備儀表特征，儀表量程一般有兩種表示方式：左起始，中間起始。

首先采用數(shù)字識別方法對面板內(nèi)數(shù)字進(jìn)行識別，識別最大值、中間值、零值位置為：Pmax(x,y)，Pmid(x,y)，Pzero(x,y)，根據(jù)此3點擬合量程曲線為：

y=a0+a1x+a2x2+a3x3

(9)

②指針位置識別

采用圖像識別的方法識別指針為一同色線段，線段識別為：

y=b0+b1x

(10)

③儀表狀態(tài)識別

根據(jù)儀表量程曲線與指針直線的交點，可得出儀表位置以及儀表讀數(shù)，從而判斷儀表狀態(tài)為：

(11)

式中：s為識別狀態(tài)，0表示非期望狀態(tài)，1表示期望狀態(tài)。r為識別讀數(shù)；datamin，datamax分別為標(biāo)準(zhǔn)數(shù)據(jù)的最小值和最大值。

2.4 裝備狀態(tài)辨識

復(fù)雜裝備期望狀態(tài)描述為：

K={N，b1,b2,…,bn,s1,s2,…,sm}

(12)

式中:N為裝備運(yùn)行流程號或序號;bi為期望指示燈狀態(tài);si為期望儀表狀態(tài)。

復(fù)雜裝備識別狀態(tài)描述為：

(13)

式中:N為裝備運(yùn)行流程號或序號;b′i為識別指示燈狀態(tài);s′i為識別儀表狀態(tài)。

裝備狀態(tài)為：

E=||K-K′||

(14)

正常狀態(tài)下：E=0；故障狀態(tài)下：E≠0。

3 實驗分析

以某裝備為例，裝備面板如圖3所示。

圖3 某裝備面板

采用海康威視攝像頭，有效像素：300萬，水平清晰度：700 TVL；網(wǎng)絡(luò)接口：TCP/IP(RJ-45)。計算機(jī)基本配置為：CPU I5-3470，3.2 GHz；內(nèi)存：8 GB；顯存：1 GB。

Step1：邊界識別。在裝備識別區(qū)域的邊界設(shè)置了4個識別標(biāo)志，攝像頭可迅速識別邊界標(biāo)志。

Step2：圖像分割。分別采用邊緣檢測方法[6]、GrubCut方法[7]對裝備進(jìn)行分割，效果如圖4所示。

從圖4中可以看出，兩種方法分割正確率均為100%。邊緣檢測方法不僅檢測出了元器件邊緣，而且檢測出了較小的螺絲邊緣，而這些細(xì)小圖像在裝備識別中是冗余的；GrubCut法雖然整體分割正確率較高，但是對細(xì)小圖像分割的正確率不高。兩種圖像分割方法所需時間均在10 ms以內(nèi)。將部分矩形識別為不變量，分割后將此區(qū)域刪除。

圖4 某裝備圖像分割結(jié)果

Step3：元件狀態(tài)識別。分別利用SURF[7]、FAST[7]方法對指示燈和指示儀表進(jìn)行狀態(tài)識別。裝備分別在開機(jī)、接通電源兩種狀態(tài)下進(jìn)行狀態(tài)識別，運(yùn)行100次。兩種方法識別正確率對比見表1。

表1 圖像識別正確率對比 %

從上表可以看出，兩種方法識別正確率均較高，但是SURF在開關(guān)狀態(tài)、儀表識別的正確率方面高于FAST方法。根據(jù)上述識別結(jié)果，結(jié)合式(8)、式(11)給出如下裝備識別結(jié)果：

期望狀態(tài)為：

Step4：裝備狀態(tài)辨識。

由上述識別狀態(tài)可得：

E1=|K1-K′1|=0，E2=|K2-K′2|=0

即：兩種狀態(tài)監(jiān)測結(jié)果均為正常，與實際狀態(tài)一致。

4 結(jié)束語

裝備狀態(tài)識別對于實時監(jiān)控裝備狀態(tài)、及時干預(yù)、減少安全風(fēng)險具有重要作用。裝備狀態(tài)識別采用了圖像分割、圖像狀態(tài)識別、裝備狀態(tài)辨識等多種技術(shù)。文中提出的裝備狀態(tài)識別技術(shù)框架可采用的方法具有一定的通用性，但是采用的具體技術(shù)與使用環(huán)境有密切關(guān)系。由于文中研究對象光線較好、干擾較少，裝備狀態(tài)識別難度較小。在研究中，采用了OpenCV系統(tǒng)中的SURF、FAST、GrubCut等函數(shù)，并進(jìn)行了對比研究，對于不同的應(yīng)用環(huán)境和識別對象，可采用不同的圖像識別方法。