移動終端基于機(jī)器視覺的器材識別研究

張建新，黃少羅，劉立家，卜昭鋒

（1.陸軍工程大學(xué)石家莊校區(qū)，石家莊 050003；2.解放軍66172 部隊(duì)，石家莊 050200）

0 引言

機(jī)器視覺作為自動識別技術(shù)的一個重要分支領(lǐng)域，以其自動化、客觀性、非接觸性和高精度的優(yōu)勢，在眾多領(lǐng)域都得到了廣泛的應(yīng)用［1］。美國DARPA將機(jī)器視覺技術(shù)列為重要的軍事技術(shù)，并對有關(guān)機(jī)器視覺的軟、硬件系統(tǒng)研制投入了大量的資金，著名的SIMNET 系統(tǒng)就應(yīng)用到了機(jī)器視覺領(lǐng)域的研究熱點(diǎn)AR 技術(shù)［2］。對比之下，我軍對機(jī)器視覺技術(shù)的應(yīng)用還停留在計(jì)算機(jī)應(yīng)用階段，移動終端的視覺應(yīng)用有待進(jìn)一步加強(qiáng)。

人工智能和機(jī)器視覺等領(lǐng)域技術(shù)發(fā)展至今，不經(jīng)意間已經(jīng)在人們的日常生活發(fā)揮著較大的作用，然而如何更好地將這些技術(shù)應(yīng)用到軍事領(lǐng)域，讓科技創(chuàng)新幫助提高戰(zhàn)斗力和保障力，是一個值得研究的問題。本文旨在對移動終端機(jī)器視覺技術(shù)的軍事應(yīng)用做一定的研究，利用機(jī)器視覺技術(shù)解決目前器材單品識別智能化程度不高的問題，最終實(shí)現(xiàn)在離線條件下，用具備機(jī)器視覺技術(shù)的單兵智能移動終端代替人眼和大腦，實(shí)現(xiàn)戰(zhàn)場器材的快速準(zhǔn)確識別。

1 問題的提出

目前，我軍器材供應(yīng)鏈中零散件供應(yīng)級的器材單品識別方式，主要有條碼識別和射頻識別標(biāo)簽兩類，這兩種方法解決了大多數(shù)的器材識別問題，有力推進(jìn)了器材工作的信息化進(jìn)程。但二維碼、射頻識別標(biāo)簽等附著標(biāo)識物無法適用于全部器材單品，對零散件供應(yīng)級中經(jīng)常出現(xiàn)的大量無包裝、無標(biāo)簽的器材，仍需依靠傳統(tǒng)的人工識別兜底。這就造成了器材識別存在不可忽視的技術(shù)短板，而對于身處戰(zhàn)場最前沿的器材零散件供應(yīng)級——基層作戰(zhàn)部隊(duì)，這一短板在戰(zhàn)爭中可能是致命的。

另一方面，隨著戰(zhàn)爭形態(tài)向智能化逐漸轉(zhuǎn)變，保障裝備、保障系統(tǒng)的智能化也隨之提上日程。保障智能化的總體要求可以歸結(jié)為：加速高技術(shù)手段應(yīng)用，用人機(jī)協(xié)同智能優(yōu)勢彌補(bǔ)人才不足劣勢。具體到器材供應(yīng)鏈領(lǐng)域，借助先進(jìn)的信息化手段，將以往高素質(zhì)器材保管員、高級修理工具備的能力用智能終端得以實(shí)現(xiàn)，如眾多器材的辨別識別、裝備修理的智能化診斷等。以此類功能的實(shí)現(xiàn)降低專業(yè)人員的能力要求，減少培訓(xùn)方面的費(fèi)用支出和時間浪費(fèi)，以適應(yīng)戰(zhàn)場人員流動性強(qiáng)、傷亡大、崗位輪換頻繁、裝備更新快等具體情況。改變以往主要依靠人工的局面，提高機(jī)器智能在裝備維修器材保障中的分量，適當(dāng)降低人員素質(zhì)的影響，最終依靠人工和機(jī)器的有效協(xié)同確保器材精確保障。

鑒于上述兩個方面，本文針對性提出移動終端基于機(jī)器視覺技術(shù)的器材識別研究，旨在著眼細(xì)節(jié)，實(shí)現(xiàn)單品器材的智能識別，提升裝備保障的智能化程度。具體地講，依托單兵移動終端集成的先進(jìn)微型攝像頭，配合專用的嵌入軟件、算法以及簡易的輔助設(shè)備，在不需聯(lián)網(wǎng)的情況下實(shí)現(xiàn)對器材信息的直接讀取，器材識別系統(tǒng)框圖見圖1 所示。該研究的實(shí)現(xiàn)可以大幅降低器材識別對人員素質(zhì)、經(jīng)驗(yàn)的要求，實(shí)現(xiàn)“傻瓜式”識別（業(yè)務(wù)零基礎(chǔ)、零經(jīng)驗(yàn)人員也可以通過該技術(shù)快速識別數(shù)目繁多、形態(tài)各異的各種器材），大大降低器材保障中對人員的依賴性。

圖1 器材識別系統(tǒng)框圖

2 總體思路

本文所述的單兵移動終端離線狀態(tài)下基于機(jī)器視覺的器材識別技術(shù)，是一種完全在移動終端上完成器材識別的方法。這種方法可離線實(shí)現(xiàn)單機(jī)識別，其優(yōu)點(diǎn)是采用完全基于智能終端的自主式方式，避免了網(wǎng)絡(luò)通信和地域的限制，對惡劣的、多變的戰(zhàn)場環(huán)境具有較好的適應(yīng)性。

該方法不同于傳統(tǒng)的C/S 模式，圖像的采集、處理、分析與結(jié)果輸出，整個過程不再通過網(wǎng)絡(luò)與服務(wù)器通連，完全脫離電腦和服務(wù)站，主要利用移動終端單機(jī)實(shí)現(xiàn)對器材的識別。器材圖像采集、預(yù)處理、依托終端自帶的數(shù)據(jù)庫進(jìn)行算法匹配、結(jié)果輸出等流程，完全在手持終端上自主完成，能夠獨(dú)立地在任何環(huán)境中完成器材識別任務(wù)，為后續(xù)的器材申請、保障等任務(wù)提供良好的基礎(chǔ)，純移動終端器材識別示意圖見圖2 所示。

圖2 純移動終端器材識別示意圖

構(gòu)建識別系統(tǒng)具體的過程中，結(jié)合器材色調(diào)單一、形狀各異的實(shí)際特點(diǎn)，選擇形狀特征（器材的邊界特征）作為器材識別的全局特征。為適應(yīng)移動終端計(jì)算能力相對較弱、存儲空間較小的實(shí)際情況，采用基于圖像特征的匹配方法，選用占用內(nèi)存空間小、計(jì)算量少的二值圖像的輪廓線作為主要特征。其大致原理是：將器材的國家標(biāo)準(zhǔn)中的三視圖作為基準(zhǔn)圖，歸一化處理后進(jìn)行提取特征，建立模型庫；對待識別器材進(jìn)行圖像采集，而后進(jìn)行相應(yīng)預(yù)處理后提取到邊緣特征；運(yùn)用ORB 算法進(jìn)行特征提取，形成特征向量并與模板庫進(jìn)行以邊緣特征為基礎(chǔ)的匹配，得到器材信息。在匹配時輔以裝備型號縮小范圍，以增強(qiáng)器材識別的實(shí)時性。

通過在單兵智能終端上搭建系統(tǒng)，實(shí)現(xiàn)在終端上對攝像頭所拍攝到的器材的識別。獲得器材型號后，可進(jìn)行器材申請工作，或者向后臺服務(wù)器請求該器材的相關(guān)信息，進(jìn)一步獲得其描述數(shù)據(jù)用于器材業(yè)務(wù)人員能力培訓(xùn)、獲得其倉庫存儲位置和數(shù)量供自助請領(lǐng)、獲得其相似器材信息，以滿足應(yīng)急維修器材需求，甚至可以在單兵智能終端上獲得該器材修理裝配流程，進(jìn)行維修指導(dǎo)。最終達(dá)到以識別功能為基礎(chǔ)，逐步實(shí)現(xiàn)對供應(yīng)鏈器材業(yè)務(wù)工作的智能化推動的目的。

3 模型庫建立

器材是以三維的形式存在的，而我們的手持終端所采集畫面是二維圖像，加之受移動終端計(jì)算及存儲能力的制約，采用占用空間小、輪廓特征明顯的國家標(biāo)準(zhǔn)中器材的三視圖作為基準(zhǔn)圖，對其歸一化后進(jìn)行提取特征，建立模型庫。

器材（零件）的三視圖是國家標(biāo)準(zhǔn)中的3 個基本視圖，使用這3 張標(biāo)準(zhǔn)視角圖片為每個器材構(gòu)建模板庫，使得在不同角度下拍攝的器材圖片也能夠識別，也增加了器材識別的準(zhǔn)確率。三視圖可通過標(biāo)準(zhǔn)的器材設(shè)計(jì)文件生成，輪廓特征明顯，無誤差，有利于提高識別準(zhǔn)確性；經(jīng)過壓縮、歸一化處理后文件小、所需計(jì)算量少，識別實(shí)時性強(qiáng)，以此為基礎(chǔ)建立的模型庫為系統(tǒng)的實(shí)時性和準(zhǔn)確性提供了很好的保證，標(biāo)準(zhǔn)及處理后建庫用三視圖見圖3 所示。

圖3 標(biāo)準(zhǔn)三視圖及處理后建庫用三視圖

4 圖像采集

系統(tǒng)采用智能終端配備的攝像頭拍攝二維圖片作為圖像輸入，而識別系統(tǒng)以器材3 視圖作為模板庫文件，因此，在圖像采集時，從器材的3 個方向獲得圖像，將取景畫面中的二維圖像與其三維形式進(jìn)行對應(yīng)。

當(dāng)手持終端對準(zhǔn)器材進(jìn)行取景時，可能會出現(xiàn)取景框中的圖像較為復(fù)雜、信息多的現(xiàn)象，尤其是在惡劣的戰(zhàn)場環(huán)境，干擾更多。為了使識別結(jié)果保持較高的準(zhǔn)確率，可以創(chuàng)造良好的識別環(huán)境：比如指定專門的圖像采集區(qū)域，并配套無背景底板、光照等簡易設(shè)施。為避免圖像采集過程中手持終端因不穩(wěn)、旋轉(zhuǎn)等因素導(dǎo)致的空間角度對識別產(chǎn)生影響，利用內(nèi)置方向傳感器實(shí)時獲取終端相對角度的變化，進(jìn)行重力方向的校對，確保方向獲取的準(zhǔn)確性，進(jìn)而確保特征值主方向的正確性和特征向量的精確性。結(jié)合器材業(yè)務(wù)工作中圖像采集場景可控的特性，借助在圖像采集時制定相應(yīng)的規(guī)則，確保采集時器材目標(biāo)的位置相對固定，將識別任務(wù)限定為以整幅圖為目標(biāo)的識別任務(wù)。

綜上所述，采集待識別器材圖像時，采集人員要根據(jù)傳感器數(shù)據(jù)指示，在環(huán)境允許范圍內(nèi)，從器材正面、左側(cè)面、上面（對應(yīng)于器材的三視圖方向，面狀器材為上下兩面）盡可能采集背景單一、光照良好的，只包含單一目標(biāo)器材的圖片作為系統(tǒng)輸入，采集樣例見圖4 所示。

圖4 采集樣例

圖4 中采集設(shè)備采用華為榮耀6X 手機(jī)代替，光照均為自然光，俯視圖采用簡易輔助設(shè)備僅為鋪在地面的一張A4 紙，正視圖、側(cè)視圖背景為白色墻面，桌面鋪有A4 紙。

5 圖像預(yù)處理

盡管在圖像采集階段制定了相關(guān)的規(guī)則，要求相關(guān)操作人員按照規(guī)則盡可能采集到噪聲小、易處理的圖片，但受到戰(zhàn)場環(huán)境因素制約，采集的圖像不可避免會因?yàn)閿z像頭元件和環(huán)境的背景、光照、遮擋等帶來畸變等噪聲，為了減少這些噪聲帶來的誤差，需要對采集到的圖像進(jìn)行相應(yīng)預(yù)處理。預(yù)處理可以抑制噪聲，強(qiáng)化器材邊緣，在減少數(shù)據(jù)總量的同時保持目標(biāo)特性的完整，一定程度上改進(jìn)圖像質(zhì)量。

5.1 圖像壓縮裁剪

圖像經(jīng)過壓縮，在保留數(shù)據(jù)的基本特征基礎(chǔ)上去除掉多余信息，減輕后續(xù)數(shù)據(jù)處理壓力并實(shí)現(xiàn)部分噪聲的消除。本系統(tǒng)中，在移動終端存儲和計(jì)算能力一定的情況下，圖像數(shù)據(jù)壓縮可以使系統(tǒng)傳輸、存儲更多種類的器材信息，并且使器材匹配時計(jì)算更加簡單、快速，一定程度上增強(qiáng)系統(tǒng)對器材識別的實(shí)時性。

本系統(tǒng)中，以俯視圖為例，采集到的圖像為2 448 像素*3 264 像素，壓縮后為1 061 像素*503像素，極大程度地降低了數(shù)據(jù)量大小，壓縮裁剪后圖像見圖5 所示。

圖5 壓縮裁剪后圖像

5.2 畸變矯正

在進(jìn)一步處理前，針對采集圖像存在的畸變現(xiàn)象，先利用標(biāo)定算法對圖像進(jìn)行畸變矯正，畸變矯正可以消除畸變，為圖像特征提取奠定良好基礎(chǔ)。

5.3 灰度處理

灰度處理的目的是將采集到的彩色圖像轉(zhuǎn)化為灰度圖，從彩色圖像中抽取某個顏色模式平面得到一個灰度平面，得到對應(yīng)的灰度圖?；叶忍幚碇皇侨コ瞬噬畔?，減少數(shù)據(jù)總量的同時保留了所需目標(biāo)信息，對圖像輪廓等主要信息并不影響。相比較彩色圖而言，灰度圖簡化了圖片信息，減少后續(xù)處理計(jì)算量，便于進(jìn)一步的圖像處理，灰度處理后圖像見圖6 所示。

圖6 灰度處理后圖像

5.4 中值濾波去噪

平滑——中值濾波是一種非線性濾波器，其功能是可有效去除脈沖噪聲、椒鹽噪聲，并能保持圖像中線條清晰，提高圖像質(zhì)量。中值濾波具有在去噪的同時能保護(hù)圖像的邊緣細(xì)節(jié)的特點(diǎn)，這個特點(diǎn)非常適用于本文所述識別系統(tǒng)。

5.5 邊緣提取

圖像的邊緣作為其最基本也是最為重要的特征，其檢測與提取是預(yù)處理中最重要的過程。邊緣檢測可以很大程度減少圖像的干擾信息，大幅度減少圖像的數(shù)據(jù)量，同時保留圖像中重要的結(jié)構(gòu)信息。邊緣提取則將檢測到的邊緣進(jìn)一步量化并標(biāo)識顯示，作為特征提取的基礎(chǔ)，邊緣提取后圖像見圖7 所示。

圖7 邊緣提取后圖像

5.6 圖像二值化

經(jīng)過前面的處理，圖像已經(jīng)成為一個邊緣信息明顯的灰度圖像，為進(jìn)一步簡化運(yùn)算，提高數(shù)據(jù)處理效率，本文利用灰度直方圖分割法進(jìn)行閾值的自動選取以及圖像二值化處理，二值圖像見圖8所示。

圖8 二值圖像

5.7 形態(tài)學(xué)操作

膨脹、腐蝕、閉、合等操作可以剔除噪點(diǎn)，將邊緣的凹坑、凸起毛刺等過濾掉。增強(qiáng)操作則是為了突出圖像中的某些信息，如常用的對比度增強(qiáng)可以增加圖片中主體的顯著性，有利于后期處理。本系統(tǒng)經(jīng)過多次閉合操作，實(shí)現(xiàn)噪聲濾波及銳化邊緣的效果，形態(tài)學(xué)操作處理后圖像見圖9 所示。

圖9 形態(tài)學(xué)操作處理后圖像

6 特征提取及匹配

經(jīng)過預(yù)處理得到了圖像的輪廓，并將其作為一個整體研究。所得輪廓作為系列點(diǎn)的集合，對應(yīng)著一系列的點(diǎn)，也就是圖像中的目標(biāo)器材邊緣曲線。針對獲得的邊緣曲線，運(yùn)用具有旋轉(zhuǎn)不變性和抗噪聲的ORB 算法，對其進(jìn)行進(jìn)一步地特征提取與匹配，模板庫文件與待匹配文件對比見圖10 所示。

圖10 模板庫文件與待匹配文件對比圖

ORB 算法作為一種快速二值特征向量，其原理是通過FAST 特征檢測和BRIEF 特征描述，對圖像的自然特征點(diǎn)進(jìn)行提取、描述和匹配，以達(dá)到識別事物的目的。與同類算法相比，ORB 算法實(shí)現(xiàn)了效率上的改進(jìn)，進(jìn)一步加快提取特征點(diǎn)的速度，具備較好的實(shí)時性，非常適合軍事環(huán)境中對速度和實(shí)時性的要求［3］。

ORB 算法將FAST 特征檢測進(jìn)行改進(jìn)，添加了特征點(diǎn)的主方向，從而具有了旋轉(zhuǎn)不變性；同時解決了BRIEF 特征描述噪聲敏感和旋轉(zhuǎn)不變形的問題。而后，將改進(jìn)后的帶方向的oFAST 特征點(diǎn)與旋轉(zhuǎn)不變性的rBRIEF 進(jìn)行結(jié)合，實(shí)現(xiàn)了具有高抗噪能力、高速、實(shí)時的特征檢測與匹配。

經(jīng)過特征提取及描述，得到了圖像特征的描述，接下來對圖像與模型庫文件進(jìn)行匹配。本系統(tǒng)中特征配對利用漢明距離進(jìn)行判決，在此基礎(chǔ)上利用裝備型號信息來縮小匹配范圍，提高運(yùn)行效率。

漢明距離是比較二進(jìn)制圖像非常有效的手段，描述兩個n 長碼字x=（x1，x2，…，xk，…，xn）（輸入圖像特征描述子），y=（y1，y2，…，yk，…，yn）（模板庫圖像特征描述子）之間的距離，

其中，表示⊕模2 加運(yùn)算，xk∈{0，1}，yk∈{0，1}。

D（x，y）能表示圖像特征與模板庫文件特征之間的差異，進(jìn)而提供兩者之間的相似程度的客觀依據(jù)，當(dāng)該值小于某個閾值時，判斷匹配成功，器材識別完成。

7 結(jié)果

通過特征提取及算法匹配，可以得出目標(biāo)器材的詳細(xì)信息，并在終端顯示屏增強(qiáng)顯示，以供操作人員進(jìn)行器材校驗(yàn)并進(jìn)行下一步的業(yè)務(wù)操作。需要特別指出的是，雖然系統(tǒng)中以器材的三視圖文件作為模板庫，但實(shí)際識別中并不是必須處理3 幅圖才能得出結(jié)果，大部分情況下，只需1 幅圖就能實(shí)現(xiàn)器材的正確識別。

如果使用文中所述系統(tǒng)，縱然是非器材專業(yè)人員，無論面對多少種類的器材，即使沒有專業(yè)人員的遠(yuǎn)程指導(dǎo)，也可實(shí)現(xiàn)各個器材的智能化快速識別，進(jìn)而實(shí)現(xiàn)快速申請和保障，或者及時獲得該器材的修理教程，使得裝備使用人員也可以組織戰(zhàn)場自修，有效增強(qiáng)戰(zhàn)場自救能力。

8 結(jié)論

通過選用器材標(biāo)準(zhǔn)的三視圖作為基礎(chǔ)構(gòu)建數(shù)據(jù)庫，經(jīng)歷圖像采集、預(yù)處理、特征提取與匹配，最終達(dá)到識別器材的目的，且識別速度快、準(zhǔn)確率高，能滿足戰(zhàn)場對器材識別的基本要求。

器材移動終端識別技術(shù)的研究與應(yīng)用，是解決器材識別問題的新觀點(diǎn)、新思路，對解決現(xiàn)行基層部隊(duì)裝備保障中存在的問題具有積極的推動作用。使得器材的識別與申請能夠做到隨時、隨地、隨需，可應(yīng)用在需要器材識別的全維領(lǐng)域，是器材保障工作適應(yīng)未來細(xì)化戰(zhàn)爭形態(tài)特點(diǎn)的有力支撐。

高技術(shù)手段的器材供應(yīng)鏈應(yīng)用，可有效促進(jìn)器材保障流程的改造，依托不同的技術(shù)實(shí)現(xiàn)信息的智能采集提取、遠(yuǎn)程監(jiān)控、優(yōu)化處理，通過對信息流從采集端到輸出端的全程有效控制，提升器材實(shí)物流效率，以流程的優(yōu)化帶動保障質(zhì)量的提高，以技術(shù)的先進(jìn)性確保裝備保障的速度和效益，盡可能縮短裝備維修時間，提高修理效率，促進(jìn)作戰(zhàn)部隊(duì)迅速恢復(fù)戰(zhàn)斗力。