基于SIFT算法的飛機駕駛艙按鈕開關(guān)識別

彭衛(wèi)東,蘇子欽，魏 麟

（中國民用航空飛行學(xué)院，廣漢 618307）

0 引言

目前熟練飛行員缺口較大的問題在全世界都存在，而這一問題對世界民航業(yè)的發(fā)展有很大的影響［1］。人工智能技術(shù)的發(fā)展使得能夠?qū)崿F(xiàn)完全自動駕駛的無人機、無人車以及無人船等正在日常生活中逐漸普及，在軍事上也有將退役戰(zhàn)斗機改裝為無人機的案例，但是目前尚無運用了完全自動駕駛技術(shù)的載人航空器出現(xiàn)。如果將人工智能自動駕駛技術(shù)運用在現(xiàn)有飛機上，那么熟練飛行員缺口較大的問題就能得到很好的緩解，但是多數(shù)現(xiàn)有的載人飛機在設(shè)計的時候并沒有作出智能駕駛方面的考慮，如果直接對現(xiàn)有的載人飛機進行改裝則會面臨高昂的改裝成本［2］。因此，產(chǎn)生了另一種在現(xiàn)有載人飛機上實現(xiàn)智能駕駛的方案，即在副駕駛座椅的位置安裝一臺有視覺系統(tǒng)等多種傳感器以及多組機械臂的飛機自動駕駛機器人，這種機器人駕駛飛機的方式與人類飛行員相近，使用視覺系統(tǒng)觀察各儀表、指示燈以及機外環(huán)境等并讀取相關(guān)數(shù)據(jù)，使用機械臂完成各種操作，也使用視覺系統(tǒng)對駕駛艙內(nèi)的按鈕開關(guān)進行識別和定位，從而引導(dǎo)用于按鈕操作的機械臂完成按鈕操作［3］。因為采用非侵入式的改裝，安裝飛機自動駕駛機器人的改裝成本要顯著低于直接對現(xiàn)有飛機進行改裝，同時也能快速地適應(yīng)不同的機型［2］。

1 按鈕操作機械臂與視覺系統(tǒng)分析

1.1 機械臂與視覺系統(tǒng)的關(guān)系

因為在維護過程中將機械臂進行拆卸、重新安裝會不可避免地出現(xiàn)安裝誤差，故飛機自動駕駛機器人的按鈕操作機械臂需要使用具有立體視覺能力的視覺系統(tǒng)來引導(dǎo)。機械臂與視覺系統(tǒng)之間有眼在手上和眼在手外兩種安裝關(guān)系，其中眼在手上的方式為視覺系統(tǒng)安裝在機械臂的末端上，這種方式操作精度更高，但觀察范圍較小，且機械臂的運動容易使視覺系統(tǒng)拍攝到的畫面模糊；眼在手外的方式為視覺系統(tǒng)安裝在機械臂的旁邊，觀察范圍較廣，但是操作精度低于眼在手上方式，易受機械臂自身遮擋影響［4］。

考慮到按鈕操作機械臂需要精確地對目標(biāo)按鈕進行操作，并且不能因為有遮擋而出現(xiàn)對目標(biāo)按鈕識別失敗的情況，故采用了眼在手上的視覺方式。當(dāng)然，還需要通過手眼標(biāo)定才能獲得從攝像機坐標(biāo)系到機械臂末端坐標(biāo)系的轉(zhuǎn)換關(guān)系。

1.2 按鈕操作機械臂的工作流程

按鈕操作機械臂及安裝在其末端上的視覺系統(tǒng)工作流程如圖1所示。

圖1 按鈕操作機械臂及視覺系統(tǒng)工作流程

首先飛機自動駕駛機器人做出按鈕決策后會控制機械臂使末端指向目標(biāo)按鈕的大致位置，位于末端上的視覺系統(tǒng)對目標(biāo)按鈕進行識別，然后確定按鈕的精確空間位置和姿態(tài)，飛機自動駕駛機器人再根據(jù)定位和姿態(tài)測量的結(jié)果規(guī)劃機械臂的運動軌跡，最后控制機械臂完成按鈕操作。

1.3 立體視覺方式的選擇

常用的立體視覺方式有雙目視覺、ToF深度視覺和結(jié)構(gòu)光深度視覺，三種方式的特點如表1所示［5］。

表1 三種立體視覺方式的特點對比

通過對空客A320飛機的模擬機艙（所有面板均為1∶1還原）中各按鈕的尺寸測量可知，多數(shù)按鈕的邊長或直徑都在8毫米以上，最小為6毫米，因此視覺系統(tǒng)的定位精度至少需要達到毫米級。雙目視覺系統(tǒng)的空間定位精度符合針對飛機駕駛艙按鈕開關(guān)進行空間定位的精度需求，并且擁有較高的分辨率，硬件成本較低，所以適合作為按鈕操作機械臂的視覺系統(tǒng)。

2 按鈕識別的實現(xiàn)

2.1 硬件配置

由于安裝在飛機自動駕駛機器人機械臂末端上的視覺系統(tǒng)需要在一定距離對目標(biāo)按鈕進行識別與定位，因此該視覺系統(tǒng)需要有較高的分辨率，同時飛機自動駕駛機器人還需要實時處理交互、多個機械臂的控制以及對飛機運行參數(shù)的監(jiān)控等多項任務(wù)，這對飛機自動駕駛機器人的計算機系統(tǒng)提出了比普通工業(yè)機器人更高的要求，需要配備多核CPU和GPU。因此采用了在同時配備多核CPU和GPU的PC機上完成實驗，PC機的CPU型號為Intel i7-9750H，為六核CPU，主頻2.6 GHz；總內(nèi)存為32 GB；顯卡型號為Nvidia GTX1650，CUDA核心數(shù)為896，顯存為4GB，CUDA版本為V10.1。

選用了銳爾威視RER-1MP2CAM002-V70型雙目攝像機，單個攝像頭分辨率為1920×1080像素，視場角70°，幀率30 fps，信噪比39 dB，最低照度0.1 lux。

2.2 前置步驟

在對目標(biāo)按鈕進行識別之前需要對攝像機進行標(biāo)定、畸變校正與圖像預(yù)處理［6］。通過標(biāo)定可以獲得攝像頭的內(nèi)外參數(shù)和畸變矩陣，畸變校正的目的是根據(jù)畸變矩陣和攝像機內(nèi)參數(shù)校正攝像頭圖像的畸變，圖像預(yù)處理包括圖像增強和圖像平滑濾波，用來解決光照不足或光照過強導(dǎo)致的圖像退化問題，降低噪聲對圖像的干擾。其中標(biāo)定方法選用了張正友標(biāo)定法，圖像增強選用了γ變換，通過多次嘗試發(fā)現(xiàn)在實驗過程中取γ=1.2時增強效果較好，圖像平滑濾波選用了既能有效濾除噪聲又能很好地保護圖像邊緣和細節(jié)部分的雙邊濾波算法。

2.3 使用SIFT算法識別按鈕的實現(xiàn)方法

尺度不變特征轉(zhuǎn)換（SIFT）算法由Lowe教授在1999年提出，2004年完善和總結(jié)［7］。SIFT算法是一種基于圖像特征點匹配的目標(biāo)識別算法，通過SIFT算法能夠提取出圖像的特征點以實現(xiàn)對圖像局部特征的檢測與描述，具有良好的魯棒性、尺度不變性、旋轉(zhuǎn)不變性，適合用來識別飛機駕駛艙按鈕這類形狀特征較為豐富而顏色特征不明顯的目標(biāo)。SIFT算法的實現(xiàn)流程如圖2所示。

圖2 SIFT算法流程圖

現(xiàn)使用SIFT算法對一張512×512像素的圖片進行特征點提取，結(jié)果如圖3所示。

圖3 SIFT算法特征點提取結(jié)果圖

在圖3中使用SIFT算法一共提取了360個特征點，用時約34毫秒，這些特征點相對較為分散，很好地覆蓋了圖像中特征明顯的點，例如明顯的角點等，且小尺度的用于表示圖像細節(jié)特征的特征點較多。

只對待檢測圖像使用SIFT算法提取特征點并不能實現(xiàn)目標(biāo)識別，需要同時對當(dāng)前需要識別的目標(biāo)按鈕識別模板和待檢測圖像提取特征點，然后將兩者中特征描述相近的特征點匹配起來，具體實現(xiàn)方法是根據(jù)特征點的歐式距離進行匹配［8］，然后使用隨機抽樣一致（RANSAC）算法通過多次迭代運算找出明顯偏離正常匹配點對所構(gòu)成的單應(yīng)性矩陣模型的點對，并將誤匹配點對從已完成匹配的點對集合中刪除，剩下的匹配點對通常可以認為能夠?qū)⒛０鍒D像與待檢測圖像中相同的特征點關(guān)聯(lián)起來。特征點匹配的算法有快速最鄰近搜索包（FLANN）匹配與暴力（Brute Force）匹配等。通過Brute Force匹配可以得到最佳的匹配結(jié)果，但是需要消耗較長的時間；FLANN匹配則相對較快，但是只能獲得一個相對良好的匹配結(jié)果，而不是最好的匹配結(jié)果［9］。對于飛機自動駕駛機器人來講，實時性是一個非常重要的因素，因此本文中的視覺系統(tǒng)更適合采用FLANN匹配。經(jīng)過篩選后的特征點匹配對能夠反映從模板圖像到待檢測圖像目標(biāo)區(qū)域的映射關(guān)系，通過對至少3對特征點匹配對進行相關(guān)運算可以獲得從模板圖像到待檢測圖像目標(biāo)區(qū)域的透視變換矩陣，通過透視變換運算可以獲得模板圖像的輪廓在待檢測圖像中的投影，如果特征點匹配良好則模板圖像輪廓的投影能夠準(zhǔn)確指出目標(biāo)區(qū)域的像素范圍。通常目標(biāo)按鈕所在圖像區(qū)域的像素范圍對于飛機自動駕駛機器人來說并沒有意義，如果要將識別的結(jié)果用于后面的基于雙目視覺的定位和姿態(tài)測量環(huán)節(jié)，則需要在兩側(cè)待檢測圖像中確定目標(biāo)按鈕上某一特征點的像素坐標(biāo)，然后根據(jù)同一特征點在兩側(cè)圖像中像素坐標(biāo)的差異來實現(xiàn)針對該特征點的空間定位，通常使用按鈕中心點的空間坐標(biāo)表示目標(biāo)按鈕的空間位置；如果要將識別結(jié)果用于雙目視覺的定位和姿態(tài)測量環(huán)節(jié)，則需要根據(jù)目標(biāo)按鈕上至少三個不共線的特征點的像素空間坐標(biāo)來確定目標(biāo)按鈕所在平面的法向量。

假設(shè)有一對匹配良好的特征點，在模板圖像中的特征點的像素坐標(biāo)為（u0,v0），在待檢測圖像中的特征點的像素坐標(biāo)為（u1,v1），在待檢測圖像中的特征點的像素坐標(biāo)的齊次坐標(biāo)形式為（U,V,W），則透視變換公式可用式（1）表示。

其中參數(shù)a11、a12、a21、a22用來表示線性變換，參數(shù)a13、a23用來表示透視變換，參數(shù)a31、a32用來表示平移，a33的值通常取1。則待檢測圖像中特征點的像素坐標(biāo)可以表示為

為了方便比較，這里以按鈕中心點、四個角的頂點以及模板圖像的四個頂點為目標(biāo)點，將這九個特征點在模板圖像中的像素坐標(biāo)代入透視變換的公式進行運算，并通過在部分目標(biāo)點之間繪制連接線來表示模板圖像輪廓以及按鈕輪廓在待檢測圖像中的投影，得到結(jié)果如圖4所示。

圖4 模板圖像與按鈕輪廓投影結(jié)果圖

從圖4可以看出，在特征點匹配良好的情況下通過透視變換可以準(zhǔn)確地指出待檢測圖像中指定的特征點的像素位置。使用SIFT算法完成目標(biāo)識別的流程如圖5所示。

圖5 SIFT算法目標(biāo)識別流程圖

2.4 按鈕識別實驗

以空客A320型飛機的按鈕為參考，使用一塊同時印有“EXT PWR”與“GND CTL”鍵的模擬面板作為按鈕識別的目標(biāo)，模擬面板的設(shè)計如圖6所示。以“EXT PWR”鍵（面板中的左側(cè)按鈕）為目標(biāo)，使用SIFT算法針對模擬面板的識別效果如圖7所示。

圖6 模擬面板設(shè)計圖

圖7 SIFT算法識別結(jié)果示意圖

可以看到盡管有少量誤匹配的特征點對，但是經(jīng)過RANSAC算法篩選、提純之后能夠準(zhǔn)確地識別出目標(biāo)按鈕。接下來模擬一些飛機自動駕駛機器人可能會遇到的不良工作環(huán)境，例如目標(biāo)按鈕的文字部分存在一定的污損，以及環(huán)境光照不足或過度導(dǎo)致攝像機拍攝的圖像過暗或過亮等，以“GND CTL”鍵為識別目標(biāo)，并且目標(biāo)位于圖像的邊緣處，因為攝像機拍攝角度不佳目標(biāo)按鈕還存在較為明顯的變形，該圖像進行γ變換的γ取值為0.8，而非最適合實驗場景的1.2，這也進一步降低了圖像的對比度。文字部分存在部分污損時識別效果如圖8所示，過亮?xí)r識別效果如圖9所示，過暗時識別效果如圖10所示。這里通過對圖像文字部分進行涂抹來模擬污損，過暗與過亮通過修改圖像亮度來模擬。

圖8 文字部分有污損時的識別結(jié)果示意圖

圖9 過亮?xí)r的識別結(jié)果示意圖

圖10 過暗時的識別結(jié)果示意圖

通過圖8、圖9、圖10展示的實驗結(jié)果可以看出，在目標(biāo)按鈕存在文字部分的污損、攝像頭拍攝的圖像過亮與過暗等識別條件不理想的情況時使用SIFT算法均能準(zhǔn)確識別目標(biāo)按鈕，在過亮的環(huán)境條件下按鈕模板輪廓在待檢測圖像中的投影有輕微的變形，產(chǎn)生這一現(xiàn)象的主要原因是在該條件下圖像的對比度相比原圖有非常明顯的降低，圖像質(zhì)量退化嚴(yán)重，特征點匹配受到了較大的影響，但是根據(jù)按鈕及模板輪廓在待檢測圖像中的投影可看出，通過按鈕識別計算出的按鈕目標(biāo)點與待檢測圖像中對應(yīng)目標(biāo)點的實際位置偏差較小。

3 結(jié)語

針對飛機自動駕駛機器人使用視覺系統(tǒng)對飛機駕駛艙的按鈕開關(guān)進行識別、定位和姿態(tài)測量的應(yīng)用場景，本文主要研究了基于SIFT算法和透視變換算法的飛機駕駛艙按鈕開關(guān)識別方法，能夠準(zhǔn)確地識別出攝像機圖像中的目標(biāo)按鈕，并計算出按鈕特征點上的目標(biāo)點（中心點、四個頂角點）的像素坐標(biāo)，能夠適應(yīng)按鈕文字部分有污損、光照過亮或過暗等飛機駕駛艙內(nèi)可能出現(xiàn)的不良情況。由于SIFT算法具有計算復(fù)雜、實時性較差的缺點，直接使用GPU進行加速雖然可以帶來明顯的加速效果，但是并不能充分利用GPU的硬件資源，因此還可以對SIFT算法進行改進，將部分串行計算的步驟改為并行計算，從而進一步提升實時性。