一種航空維修工具智能管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

畢 楊，宋 飛，王 軒

(西安航空學(xué)院 電子工程學(xué)院，陜西 西安 710000)

0 引 言

隨著智能制造時(shí)代的到來，出現(xiàn)了多樣的先進(jìn)機(jī)電產(chǎn)品，其復(fù)雜程度也是也越來越高，例如現(xiàn)代噴氣式飛機(jī)、高速鐵路客車、高級(jí)小轎車等。這些產(chǎn)品方便了人們的生活，同時(shí)，這些產(chǎn)品的維修和保養(yǎng)工具也越來越多、越來越精細(xì)化，特別是在航空維修工具領(lǐng)域，所用的到維修工具大到常見的刀具、量具、輔具，小到長(zhǎng)約1 cm的工具頭、細(xì)到幾個(gè)毫米的針狀拐子等。目前對(duì)這些精細(xì)化工具的存放和管理仍然大量使用傳統(tǒng)的各種大大小小的工具箱，在現(xiàn)實(shí)的使用過程中往往會(huì)存在如下一些明顯的問題：(1)由于維修現(xiàn)場(chǎng)往往是大型復(fù)雜的航空機(jī)電產(chǎn)品，而維修工具種類繁多又很細(xì)小，如果因?yàn)榫S修人員疏忽將維修工具遺失在現(xiàn)場(chǎng)而不自知，那后果是不堪設(shè)想的。(2)傳統(tǒng)的工具箱只能收納工具，但是工具在箱內(nèi)存放凌亂，對(duì)于普通工具影響不大，但是對(duì)一些高精度的量具、刀具則會(huì)容易造成損壞。(3)大量工具無序存放，在使用過程中需要來回翻找，降低了維修工人的工作效率，并可能造成一定的安全隱患。(4)大量維修工具需要進(jìn)行統(tǒng)一的科學(xué)管理和及時(shí)維護(hù)[1-2]。同時(shí)，隨著政府大力發(fā)展高端制造業(yè)，有越來越多的國(guó)產(chǎn)先進(jìn)精密機(jī)電設(shè)備投入市場(chǎng)，進(jìn)而對(duì)這些設(shè)備的維修保養(yǎng)需求也越來越多，科學(xué)有效地解決高精度維修工具存管中存在的上述問題就顯得尤為重要而迫切[3-4]。

國(guó)內(nèi)外目前對(duì)智能型工具箱的實(shí)現(xiàn)也有相關(guān)的研究，主要是針對(duì)防止工具丟失的功能，目前主要有采用RFID標(biāo)簽識(shí)別的方法[5-6]和采用光敏灰度傳感器識(shí)別的方法等，這些方法要么不適合于微小工具，要么無法解決工具亂放或非工具物件占用工具槽位的問題[7]。都不能很好地滿足對(duì)微小工具和工具唯一性檢測(cè)的要求。

文中將利用圖像識(shí)別技術(shù)進(jìn)行工具箱內(nèi)的工具信息分析處理，在此基礎(chǔ)上又設(shè)計(jì)了一套完整的管理系統(tǒng)對(duì)工具箱進(jìn)行系統(tǒng)管理，從而實(shí)現(xiàn)工具箱的智能管理，并通過實(shí)驗(yàn)驗(yàn)證了該設(shè)計(jì)方案的可行性和有效性。

1 圖像識(shí)別技術(shù)

HOG(histogram of oriented gradient)算法，即方向梯度直方圖特征，是識(shí)別計(jì)算機(jī)視覺和圖像處理中的對(duì)象的特征描述符[8]。該算法中的特征是通過計(jì)算部分圖像區(qū)域的梯度方向確定的。目前，將HOG算法與SVM分類器相結(jié)合并且用于圖像識(shí)別得到了廣泛的認(rèn)可[9]。

HOG算法的特征提取如圖1所示，其中最主要的步驟是計(jì)算圖像梯度以及構(gòu)建每個(gè)單元的梯度方向直方圖。

圖1 HOG算法流程

1.1 計(jì)算圖像梯度

計(jì)算圖像中每個(gè)像素的梯度，包括其大小和方向等。其主要目的在于獲取輪廓數(shù)據(jù)，并且對(duì)來自光照的干擾進(jìn)行最小化處理。計(jì)算圖像的水平和垂直梯度，并相應(yīng)地計(jì)算每個(gè)像素位置的梯度方向值，它可以進(jìn)一步削弱照明的影響[10]。

圖像中像素點(diǎn)(x,y)的梯度為：

Gx(x,y)=H(x+1,y)-H(x-1,y)

(1)

Gy(x,y)=H(x,y+1)-H(x,y-1)

(2)

其中，Gx(x,y)、Gy(x,y)、H(x,y)分別表示輸入圖像中像素點(diǎn)(x,y)處的水平方向梯度、垂直方向梯度和像素值。

像素點(diǎn)(x,y)處的梯度幅值、梯度方向分別為：

(3)

(4)

通常使用梯度算子[-1,0,1]來對(duì)原始圖像作褶積運(yùn)算。并獲得x方向的梯度分量。然后用梯度算子[1,0,-1]來對(duì)原始圖像作褶積運(yùn)算，并獲得y方向的梯度分量。最后，通過上面的公式可以得到像素的梯度大小和方向。

1.2 構(gòu)建單元梯度方向直方圖

創(chuàng)建單元格梯度方向直方圖的目的是為部分圖像區(qū)域提供方向，單元中的每個(gè)像素基于方向直方圖通道選擇投票[11]。投票是一種加權(quán)投票制度，也就是說，每張票都具有權(quán)重，該權(quán)重是基于像素的梯度大小計(jì)算的，該權(quán)重可以通過幅值本身或它的幅值函數(shù)來表示。單元格可以是矩形或星形。直方圖通道均勻散布在0～1 800(非定向)或0～3 600(定向)的范圍內(nèi)。實(shí)驗(yàn)表明，使用非定向梯度和9個(gè)直方圖通道可以在行人檢測(cè)實(shí)驗(yàn)中獲得最佳結(jié)果[12]。

將圖像分成若干個(gè)“單元格”，并將每個(gè)單元格的像素設(shè)置為6*6。使用9塊直方圖來統(tǒng)計(jì)有關(guān)這6*6像素梯度的信息。也就是說，單元梯度的方向(360度)被分成9個(gè)方向塊。用梯度方向?qū)卧駜?nèi)每個(gè)像素在直方圖中進(jìn)行加權(quán)投影，能夠得到單元格梯度方向直方圖，就是對(duì)應(yīng)于單元格的9維特征向量。如圖2所示，像素梯度的方向在20～40度之內(nèi)，那么直方圖的第二列的值增加1。

圖2 梯度方向通道示意圖

通過研究人員的實(shí)際測(cè)試表明：要想獲得最佳的效果必須用幅值來表示，當(dāng)然，也可以選擇幅值函數(shù)來表示，比如幅值的平方、平方根、截?cái)嘈问降萚13]。

1.3 HOG算法的優(yōu)缺點(diǎn)

(1)HOG算法在圖像的局部單元上運(yùn)行，因此在保持圖像的幾何和光學(xué)畸變方面具有良好的不變性。僅在更大空間區(qū)域中會(huì)出現(xiàn)這兩種形變。

(2)HOG表示角落的結(jié)構(gòu)特征，因此它可以描述局部形狀信息。

(3)HOG算法對(duì)子單元的處理方式，能有效地體現(xiàn)出圖像的局部像素點(diǎn)之間的關(guān)系。

(4)描述子生成過程繁瑣，具有高維度，導(dǎo)致HOG算法運(yùn)算速度慢，實(shí)時(shí)性差，并且難以處理遮擋問題。而且由于梯度的性質(zhì)，描述子對(duì)噪聲非常敏感。

2 智能工具箱系統(tǒng)的基本工作原理

文中提出的智能工具箱可識(shí)別到具體的五種異型的工件，如圖3所示，圖3中最右邊的為標(biāo)尺。在工件放置近工具箱后，工具箱系統(tǒng)調(diào)用補(bǔ)光燈和攝像部分對(duì)箱內(nèi)進(jìn)行拍照，并將圖片暫存到系統(tǒng)中，取出感興趣的工具圖像部分和標(biāo)尺(即基準(zhǔn)圖片)。智能工具箱首先通過統(tǒng)一標(biāo)尺進(jìn)行工件的尺度歸一化，然后調(diào)HOG算法處理模塊對(duì)基準(zhǔn)圖片以及拍到的圖片進(jìn)行圖像匹配，若兩圖之間的特征值差異在工具箱提前設(shè)定好的容錯(cuò)范圍內(nèi)，則說明工件匹配成功，否則產(chǎn)生報(bào)警提示。

圖3 工具箱內(nèi)原始圖片

具體過程如下：

(1)對(duì)原始工件拍照，提取特征值信息，并保存在系統(tǒng)中，可根據(jù)用戶需要實(shí)現(xiàn)工件種類和數(shù)量靈活配置。

(2)工件借出配置好后，待歸還時(shí)，進(jìn)行再次拍照，并提取現(xiàn)有工具箱中工件的特征值信息。

(3)系統(tǒng)對(duì)現(xiàn)有的信息和預(yù)先保存的信息進(jìn)行匹配，就可以知曉歸還工件的種類和數(shù)量是否與借出時(shí)相一致。

3 圖像識(shí)別算法在智能工具箱中的具體應(yīng)用

3.1 圖像分割

圖像分割的目的是提取圖像中的有用信息。通常圖像的邊緣、亮度、色彩等特點(diǎn)常作為分割的依據(jù)。主要方法就是將原始圖像的RGB色域轉(zhuǎn)換為YCBCR色域，將工具更好地從圖像背景中分割出來，如圖4所示。

(a)YCBCR色域圖

(b)二值化后圖

(c)填充之后圖圖4 工具背景分割圖

將工具從原始圖像背景中分離出來后，對(duì)目標(biāo)工件進(jìn)行定位，將需要識(shí)別的工具分割出來，如圖5所示。

圖5 分割出來的工具

3.2 尺度歸一化

文中提出的智能工具箱中的尺度歸一化主要就是通過保持標(biāo)尺與工件的相對(duì)比例不變特性，即利用數(shù)字圖像中不變的矩尋找一組參數(shù)使其能夠消除其他變化函數(shù)對(duì)圖像變化的影響，將待處理的不同格式的原始圖像轉(zhuǎn)換成相應(yīng)的唯一標(biāo)準(zhǔn)形式[14-15]。

3.3 特征提取

工具箱對(duì)工具進(jìn)行特征提取，即使用文中研究的HOG特征算法處理模板圖片中的工件和需要檢測(cè)的圖像。按照?qǐng)D1所示的步驟完成圖像特征的提取。

3.4 配準(zhǔn)識(shí)別

配準(zhǔn)識(shí)別為智能工具箱的最后一步。將待檢測(cè)圖像的特征(描述算子)提取出來后，在模板圖像范圍內(nèi)進(jìn)行特征向量漢明距離配準(zhǔn)識(shí)別，如果計(jì)算得到的漢明距離滿足工具箱所設(shè)定的要求，則說明匹配成功，進(jìn)而將匹配成功的工具的位置進(jìn)行定位標(biāo)記，如圖6所示。

圖6 成功識(shí)別到的工具

以上就是智能工具箱的主要處理步驟，對(duì)需要處理的圖像進(jìn)行處理后，最終以可見信息的形式傳達(dá)出來。若工具匹配成功，工具箱則閃爍綠燈表示，若未識(shí)別到工具或者匹配失敗，工具箱則紅燈閃爍并產(chǎn)生警報(bào)，以提醒相關(guān)人員及時(shí)處理問題。

4 圖像識(shí)別算法的仿真實(shí)現(xiàn)

4.1 算法實(shí)現(xiàn)過程

圖像識(shí)別算法實(shí)現(xiàn)過程如圖7所示。

圖7 算法實(shí)現(xiàn)過程

(1)首先通過Matlab工具進(jìn)行圖像識(shí)別算法的模擬，完成核心算法的仿真。

(2)將完成仿真的算法通過安卓平臺(tái)開發(fā)完整邏輯的實(shí)現(xiàn)，并完成模擬調(diào)試。

(3)將完成調(diào)試的安卓呈現(xiàn)寫入開發(fā)板，完成真實(shí)環(huán)境的調(diào)試以及硬件控制調(diào)制。

4.2 仿真環(huán)境及開發(fā)平臺(tái)

文中的仿真環(huán)境和開發(fā)平臺(tái)如表1所示。

表1 仿真環(huán)境和開發(fā)平臺(tái)

5 智能工具箱管理系統(tǒng)

智能工具箱完成了對(duì)維修工具的精確識(shí)別和管理，對(duì)多臺(tái)工具箱的關(guān)系則需要一套完整的管理系統(tǒng)進(jìn)行管理。

如前文所述，智能工具箱內(nèi)采用Firefly-RK3128開發(fā)平臺(tái)板，擁有ARM Cortex-A7架構(gòu)處理器，除了擁有良好的運(yùn)算與圖形處理能力，還支持2.4 GHz Wi-Fi及藍(lán)牙4.0接口，因此工具箱管理系統(tǒng)利用藍(lán)牙接口實(shí)現(xiàn)了對(duì)智能工具箱的“智能”管理。

5.1 管理系統(tǒng)設(shè)計(jì)原則及架構(gòu)

后臺(tái)管理系統(tǒng)設(shè)計(jì)采用以下原則[16-17]：

·開放性：提供標(biāo)準(zhǔn)數(shù)據(jù)接口、網(wǎng)絡(luò)接口、系統(tǒng)和應(yīng)用軟件接口。

·模塊化：嚴(yán)格按照模塊化結(jié)構(gòu)方式開發(fā)，以滿足通用性和可替換性。

·先進(jìn)性：軟件技術(shù)選型符合技術(shù)發(fā)展潮流。

·高效率：緊貼工具箱應(yīng)用場(chǎng)景進(jìn)行設(shè)計(jì)，提高使用者管理效率。

·可靠性：獨(dú)立數(shù)據(jù)代理，及時(shí)數(shù)據(jù)備份等措施保證系統(tǒng)的穩(wěn)定可靠。

在以上設(shè)計(jì)原則的指導(dǎo)下，后臺(tái)管理系統(tǒng)采用三層體系架構(gòu)[18]。

(1)數(shù)據(jù)采集層：通過藍(lán)牙協(xié)議負(fù)責(zé)與智能工具箱通信，獲取工具箱狀態(tài)。

(2)數(shù)據(jù)層：負(fù)責(zé)系統(tǒng)數(shù)據(jù)存儲(chǔ)，支持設(shè)置數(shù)據(jù)安全和備份機(jī)制，保證數(shù)據(jù)在授權(quán)的范圍內(nèi)被訪問，保證數(shù)據(jù)系統(tǒng)意外的情況下可恢復(fù)。

(3)管理應(yīng)用層：本層為系統(tǒng)主要的應(yīng)用展現(xiàn)層，負(fù)責(zé)系統(tǒng)用戶及工具箱的管理邏輯。

5.2 系統(tǒng)選型

服務(wù)器：Windows Server 2016;

開發(fā)工具：Microsoft Visual Studio 2017;

開發(fā)語言：Visual C#;

數(shù)據(jù)庫：Microsoft SQL Server 2016。

5.3 系統(tǒng)功能

智能工具箱管理系統(tǒng)提供了人員管理、工具箱管理、查詢統(tǒng)計(jì)、系統(tǒng)設(shè)置功能，并集成工具箱倉庫的門禁系統(tǒng)管理，實(shí)現(xiàn)了對(duì)工具箱端到端的完整管理能力，詳細(xì)功能如圖8所示。

圖8 智能工具箱管理系統(tǒng)功能

5.4 系統(tǒng)管理實(shí)現(xiàn)

(1)用戶管理。

用戶管理主要提供了對(duì)系統(tǒng)用戶(使用者)的管理功能，僅系統(tǒng)管理員具備創(chuàng)建/刪除用戶、用戶密碼重置的功能權(quán)限。普通用戶不能添加及刪除用戶，修改用戶僅支持修改名稱及聯(lián)系方式。

(2)工具箱注冊(cè)。

僅管理員支持對(duì)工具箱的注冊(cè)和管理功能，包含注冊(cè)、解注冊(cè)、修改、工具箱類型維護(hù)等。

(3)工具箱出入庫。

工具箱出入庫用戶工具借出和歸還時(shí)使用。

(4)歷史記錄。

系統(tǒng)對(duì)管理員及用戶的所有操作進(jìn)行記錄，支持根據(jù)操作時(shí)間、用戶及操作等條件聯(lián)合查詢，并支持對(duì)查詢的結(jié)果導(dǎo)出到Excel文件，方便用戶打印。

6 結(jié)束語

為了滿足航空維修工具管理的要求，將圖像識(shí)別技術(shù)應(yīng)用于對(duì)工具箱內(nèi)的工具信息進(jìn)行分析處理，在完成了對(duì)維修工具的精確識(shí)別的基礎(chǔ)上，又設(shè)計(jì)了一套完整的管理系統(tǒng)對(duì)多臺(tái)工具箱進(jìn)行系統(tǒng)管理。經(jīng)實(shí)驗(yàn)驗(yàn)證，提出的以圖像識(shí)別技術(shù)為基礎(chǔ)的工具智能管理系統(tǒng)能有效地對(duì)工具箱內(nèi)的工具進(jìn)行檢測(cè)，并且檢測(cè)速度快，檢測(cè)效果明顯，在此基礎(chǔ)上給出的一套完整的管理系統(tǒng)提供了人員管理、工具箱管理、查詢統(tǒng)計(jì)、系統(tǒng)設(shè)置功能，并集成工具箱倉庫的門禁系統(tǒng)管理，實(shí)現(xiàn)了對(duì)工具箱端到端的完整智能管理。該設(shè)計(jì)方案在航空維修工具領(lǐng)域有廣泛的應(yīng)用和推廣價(jià)值。