飛機艙門手柄的視覺定位方法

李磊　吳揚　裘旭東　張旭　張林

【摘 要】介紹了在V-REP仿真平臺下使用Kinect視覺傳感器獲取飛機艙門手柄位姿的方法。該方法根據(jù)Kinect傳感器的RGB彩色相機獲取艙門手柄上的兩個環(huán)形彩帶圖像并進行Blob Detection處理，得到彩環(huán)在Kinect圖像平面中的矩形框中心位置，然后根據(jù)Depth深度相機檢測出彩環(huán)的深度信息，由位置和深度信息即可確定矩形框中心點在世界坐標系中的三維坐標。通過圓柱面擬合方法得到圓柱面參數(shù)，結(jié)合兩矩形框中心點進而求出圓柱手柄的重心及姿態(tài)信息，實現(xiàn)了艙門機構(gòu)耐久性試驗中，工業(yè)機器人對艙門手柄的視覺定位。

【關(guān)鍵詞】耐久性試驗；Blob Detection；深度信息；圓柱面擬合；位姿矯正

中圖分類號： V223.9 文獻標識碼： A 文章編號： 2095-2457（2017）17-0031-004

Visual Positioning Method for Handle of Aircraft D.3oor

LI Lei1 WU Yang1 QIU Xudong1 ZHANG Xu2 ZHANG Lin2

（1.Shanghai Aircraft Design and Research Institute， Shanghai 201210， China；

2.HUST-Wuxi Research Insitute，Wuxi 214174，China）

【Abstract】This paper introduces the method of using Kinect visual sensor to acquire the position of aircraft door handle under V-REP simulation platform. The method based on RGB color camera of the Kinect sensor to obtain the two ring ribbon images on the handle and the Blob Detection process to get the center position of the rectangular frame of the color ring in the Kinect imaging plane. The position and The Depth information of the color ring can be used to obtain the three-dimensional coordinate of the center point of the rectangular frame in the world coordinate system. The cylindrical surface parameters of aircraft door handle can be obtained by the cylindrical surface fitting method and combining the center point of two rectangular frames to find out the barycenter and posture information .In this way， the visual positioning of the robot for the aircraft door handle is achieved in the durability test of the cabin structure.

【Key words】Durability test； Blob Detection； Depth information； Cylindrical fitting； Posture correction

0 引言

大型客機的艙門必須要能夠正產(chǎn)開啟和關(guān)閉，滿足人員、物質(zhì)的進出和應(yīng)急撤離的要求，同時在飛行過程中，還需承受氣密、飛行等載荷并維持飛機結(jié)構(gòu)的完整性。而登機門作為人員進出的主要通道，是空乘人員接觸最多的飛機部件之一，在整個飛機全壽命周期中，登機門通常要保證24萬次的正常開啟，且每次開啟時間不超過10秒，開關(guān)頻率不小于2次/分鐘。因此艙門的設(shè)計是飛機結(jié)構(gòu)設(shè)計中的一大難點，艙門機構(gòu)的耐久性評估更是其中關(guān)鍵難點。

傳統(tǒng)的登機門耐久性測試方法基于液壓作動筒構(gòu)建，通常都是專用試驗平臺，成本較高。而隨著工業(yè)機器人技術(shù)的進步，工業(yè)機器人通用性強、工作效率高，并具有擬人結(jié)構(gòu)和柔性控制方式等優(yōu)點，因此可考慮采用工業(yè)機器人進行艙門機構(gòu)試驗的通用平臺，完成相關(guān)耐久性試驗。

1 V-REP仿真平臺中的視覺定位系統(tǒng)

飛機艙門在使用過程中可能存在開、關(guān)不到位，機構(gòu)變形等情況，針對這些情況，可采用Kinect相機來檢測艙門上一些標記點的位姿信息來核實艙門的狀態(tài)，以解決耐久性試驗過程中機構(gòu)變形等帶來規(guī)劃位置無法抓取的問題。把視覺定位系統(tǒng)的檢測位置放在艙門機構(gòu)的手柄上，手柄為圓柱體，手柄上放置兩個環(huán)形彩帶（一紅一藍）。在V-REP仿真平臺中，Kinect傳感器具有RGB彩色相機和depth深度相機，depth深度相機可以檢測出彩環(huán)的深度信息，RGB彩色相機可以提取出彩環(huán)的矩形包絡(luò)框，結(jié)合深度信息可以得到矩形框中心點及選取的隨機點在世界坐標系中的三維坐標信息。兩個矩形框中心點及隨機點均為圓柱面上的三維點，通過圓柱面擬合方法可求出圓柱面參數(shù)，結(jié)合兩矩形框中心點進而求出圓柱手柄的重心及姿態(tài)信息[1]，該信息用于機器人手爪矯正位姿去抓住手柄。

在艙門仿真系統(tǒng)中，把相機放在機器人末端法蘭盤上。當機器人手爪到達一定位置時，機器人短暫停留，并對該階段的手柄拍攝，獲取手柄重心的三維信息及其軸向與世界坐標系各軸的夾角，仿真場景如圖1所示。endprint

圖1 視覺識別定位仿真示意圖

2 V-REP軟件中的四種坐標系

Kinect傳感器的透視投影相機模型如圖2所示。視錐體是一個三維體，它的位置和攝像機相關(guān)，視錐體的形狀決定了模型如何從相機空間投影到屏幕上。透視投影使得離攝像機近的物體投影后較大，而離攝像機較遠的物體投影后較小。透視投影使用棱錐作為視錐體，攝像機位于棱錐的椎頂。該棱錐被前后兩個平面截斷，形成一個棱臺，叫做視椎體，只有位于椎體內(nèi)部的模型才是可見的。

圖2 透視投影相機模型

2.1 相機坐標系

把相機的光心看作是相機坐標系的原點O，相機坐標系中的Xc軸、Yc軸分別與圖像坐標系的X軸與Y軸平行，相機的光軸看作是Zc軸。坐標值用（Xc，Yc，Zc）表示。

2.2 世界坐標系

為了描述相機的位置引入世界坐標系，在世界坐標系下，有兩個重要的參數(shù)：旋轉(zhuǎn)矩陣R和平移向量T，任何維度的旋轉(zhuǎn)可以表示為坐標向量與合適矩陣的乘積。平移向量是第一個坐標原點與第二個坐標原點的偏移量。坐標值用（XW，YW，ZW）表示。

相機坐標系與世界坐標系的轉(zhuǎn)化可表示式（1）。

X■Y■Z■1=R T0 1X■Y■Z■1（1）

2.3 圖像坐標系

與相機模型中的圖像坐標系有所差異，V-REP上相機的圖像平面是相機拍攝對象所顯示的遠裁剪平面經(jīng)過縮放后的單位化平面，平面中心坐標是（0.5，0.5）。將相機坐標系沿著相機坐標系的ZC軸平移投影到圖像坐標系上，如圖3所示，坐標系之間的關(guān)系可用公式（2）表示。圖像坐標系的坐標值用（X，Y，Z）表示。

圖3 圖像與相機坐標系關(guān)系示意圖

XC1■YC1 1=-1 0 0.50 1 -0.50 0 1XY1（2）

2.4 像素坐標系

在V-REP中，像素坐標系與圖像坐標系重疊?？赏ㄟ^換算將圖像坐標系的（X，Y）轉(zhuǎn)化為像素坐標的（U，V），轉(zhuǎn)化關(guān)系如公式（3）

U=math.floor（X*camXResolution）

V=math.floor（Y*camYResolution）（3）

式（3）中：

math.floor——取整函數(shù)，

camXResolution——行分辨率

camYResolution——列分辨率

式（3）表示圖像坐標系的（X，Y）位置乘以相對的行列分辨率，就可得到像素坐標的（U，V）。

2.5 手柄彩環(huán)相機坐標系位置的獲取

在V-REP仿真中，Kinect傳感器具有RGB彩色相機和depth深度相機。RGB彩色相機可以提取出彩環(huán)的矩形包絡(luò)框位置信息，depth深度相機可以檢測出彩環(huán)的深度信息[2]。

圖4 左：RGB相機圖像右：depth相機圖像

如圖4所示，對艙門手柄進行Blob Detection處理[3]，從Blob Detection的API return values中得到手柄彩環(huán)的矩形包絡(luò)框位置信息（X，Y）。同時通過提取投影錐視體中的緩存獲得彩環(huán)相對相機的深度信息，通過函數(shù)命令訪問相應(yīng)的像素坐標，就可得到彩環(huán)的深度值。

2.6 計算目標點在世界坐標系中的坐標

在V-REP中，圖像平面是相機拍攝對象顯示的縮放單位化平面，平面中心坐標是（0.5，0.5）。若已知圖像平面中的坐標（X，Y）及其對應(yīng)像素坐標系中的深度值ZP，通過世界坐標系、相機坐標系及圖像坐標系之間的轉(zhuǎn)化關(guān)系[4]就可以得到手柄彩環(huán)在世界坐標中的三維信息。

首先得到手柄彩環(huán)在相機坐標系下的空間點坐標，如圖5所示：

圖5 坐標投影示意圖

圖5中q點為Blob Detection處理后獲取的彩環(huán)框圖位置信息[5]（X，Y），p點為彩環(huán)框圖的實際空間位置，深度值ZP為depth深度相機獲取的值，這個值即為彩環(huán)框圖在相機坐標系中的ZC軸向值。

可知tanα=Z/0.5，即Z=2tanα，已知q點坐標（X，Y，Zp），求解p點在相機坐標系中的坐標。由相似三角形公式（4）。X為q點的X軸向坐標，XC為p點的XC軸向坐標。

■=■（4）

已知X的參數(shù)，可求得XC的值，同理也可求得YC的值。

故可知彩環(huán)框圖質(zhì)心在相機坐標系的空間坐標為（XC，YC，ZP）。再通過公式（1），就可求得彩環(huán)框圖質(zhì)心在世界坐標系中的空間坐標（XW，YW，ZW）。

3 手柄的位姿

工業(yè)機器人在抓取艙門手柄過程中，除需知道艙門手柄的位置信息，還需知道手柄的重心以及圓柱形手柄的軸線方向。因此需要通過圓柱面擬合[6]的方法得到圓柱體的參數(shù)。

圖6 圓柱面數(shù)學模型示意圖

圓柱面特征可以由回轉(zhuǎn)中心軸線的單位方向矢量■和軸線上一點P0，以及回轉(zhuǎn)半徑r三要素唯一確定[7]。則可得：

P■P=P■P■■（5）

公式（5）中，Pi點是圓柱面表面上的采樣觀測點P點為Pi點在中心軸線上的投影點，β是P0Pi與中心軸線之間的夾角[8]。

cosβ=■（6）

手柄半徑r已知，由式（5）和式（6）可以得出目標函數(shù)為：

F（x■，y■，z■，a，b，c，r）=■{（xi-x0）2+（yi-y0）2+（zi-z0）2-[a（xi-x0）+b（yi-y0）+c（zi-z0）]2-r2}

約束條件為：

a2+b2+c2=1（7）

可通過Kinect傳感器獲取手柄彩環(huán)矩形框中心點及周邊隨機點的空間坐標信息。然后利用Levenberg-Marquardt[9]迭代優(yōu)化求解算法求出圓柱面參數(shù)。endprint

知道軸向量及其軸上一點位置，就可知道圓柱體軸的直線方程L。過紅藍兩彩環(huán)矩形框中點連線C1C2的中點C作關(guān)于軸線L的垂線，可得到向量■和手柄重心q，向量■在■的反向延長線上，機器人抓手柄時，手爪的進給方向為向量■。已知向量■、手柄重心q以及手柄軸向（C■■■）可建立坐標系（x，y，z），x軸向由坐標系右手定則可得。如圖7所示。

圖7 圓柱手柄信息

4 手爪位姿矯正

圓柱手柄的重心及姿態(tài)信息用于機器人手爪矯正位姿去抓住手柄。解決手爪的位姿矯正還需要設(shè)定好其工具坐標系，模型如圖8所示。

圖8 手爪的工具坐標系

在控制機器人抓手柄時，要保證手爪的工具坐標系沿著向量■平移后與手柄的重心坐標系（x，y，z）重合，這樣就可實現(xiàn)手爪對手柄的精準握抓。試驗整個過程如下圖9、圖10、圖11。

5 結(jié)論

V-REP仿真中的相機模型相對于實際的相機模型有些區(qū)別，對于空間中點的三維信息，V-REP中采用RGB相機和深度相機的方法獲取，實際上多數(shù)是采用雙目立體視覺的方式[10]獲取點的三維信息，雖然方法不同，但過程相同，都可以通過Blob Detection來求得目標在圖像坐標系中的矩形框，然后結(jié)合獲取的深度信息得出三維點信息，后續(xù)對手柄位姿求解的方法與V-REP仿真中方法一致，都運用了圓柱面擬合來獲得圓柱面參數(shù)。試驗證明，該方法簡單有效，實現(xiàn)了在艙門機構(gòu)耐久性試驗中，工業(yè)機器人對艙門手柄的視覺定位。

【參考文獻】

[1]任重，邵軍力.雙目立體視覺的匹配方法研究[J].軍事通信技術(shù)，2001（02）：45-48+72.

[2]王玉翰，金波.基于雙目立體視覺的深度信息測量[J].機電工程技術(shù)，2015（03）：34-38+49.

[3]段康容，劉先勇.基于Blob算法的標記圓檢測技術(shù)研究[J].傳感器世界，2014（08）：7-10.

[4]姚宜斌，黃承猛，李程春，孔建.一種適用于大角度的三維坐標轉(zhuǎn)換參數(shù)求解算法[J].武漢大學學報（信息科學版），2012（03）：253-256.

[5]王浩，許志聞，謝坤，李杰，宋成璐.基于OpenCV的雙目測距系統(tǒng)[J].吉林大學學報（信息科學版），2014（02）：188-194.

[6]張益澤，王解先.初值任意選取的圓柱面擬合方法[J].工程勘察，2012（01）：77-80

[7]秦世偉，潘國榮，谷川，施貴剛.基于遺傳算法的三維空間柱面擬合[J].同濟大學學報（自然科學版）.2010（04）：604-607+618.

[8]王解先.工業(yè)測量中一種二次曲面的擬合方法[J].武漢大學學報（信息科學版），2007（01）：47-50.

[9]MORWJ J.The Levenberg-Marquardt algorithm：Implementation and theory[J].Lecture Notes in Mathematics，1978，630：105-116.

[10]尚倩，阮秋琦，李小利.雙目立體視覺的目標識別與定位[J].智能系統(tǒng)學報.2011（04）：99.endprint