基于立體視覺(jué)技術(shù)的家政機(jī)器人抓取技術(shù)研究

丁雪梅，任柏寒

（吉林建筑科技學(xué)院，吉林 長(zhǎng)春 130000）

0 引言

立體視覺(jué)匹配技術(shù)[1]的區(qū)域匹配是將大視角圖像轉(zhuǎn)化為許多塊狀圖像或改變圖像對(duì)的尺度大小來(lái)劃分對(duì)應(yīng)的區(qū)域，但是不同的視角會(huì)獲得不同的圖像，就會(huì)導(dǎo)致對(duì)同一環(huán)境產(chǎn)生多個(gè)不同的圖像，從而難以進(jìn)行區(qū)分，同時(shí)會(huì)使得對(duì)比過(guò)程中出現(xiàn)糊圖現(xiàn)象，導(dǎo)致對(duì)大視角圖像[2]中的區(qū)域進(jìn)行識(shí)別較為困難，對(duì)上述問(wèn)題通過(guò)以下算法步驟嘗試解決：

1 通過(guò)區(qū)域匹配算法確定家政機(jī)器人活動(dòng)范圍以及初步判定抓取物品

第一步：檢測(cè)并擬合兩幅待匹配圖像的最大穩(wěn)定極值區(qū)域[3]，然后，對(duì)擬合的橢圓區(qū)域進(jìn)行歸一化，然后對(duì)歸一化的圓形區(qū)域進(jìn)行SIFT描述[4]，得到128維SIFT描述符，將SIFT描述符的最近鄰與次最近鄰之比小于某個(gè)閾值（閾值設(shè)置為0.85）的區(qū)域?qū)τ米鞒跏计ヅ鋮^(qū)域?qū)Γ?/p>

第二步：采用高斯差分特征檢測(cè)方法對(duì)匹配區(qū)域內(nèi)的特征點(diǎn)進(jìn)行檢測(cè)，準(zhǔn)確獲取特征點(diǎn)的位置信息和尺度信息；

第三步：在特征點(diǎn)尺度所在的高斯圖像上，構(gòu)造以特征點(diǎn)為中心的橢圓鄰域，對(duì)鄰域進(jìn)行歸一化，然后對(duì)歸一化的圓形區(qū)域進(jìn)行SIFT描述，得到基于mser的128維SIFT描述符；

第四步：對(duì)mser區(qū)域[5]所有的特征點(diǎn)進(jìn)行一體化，并將其進(jìn)一步歸一為單位圓，得到二維空間描述符（包括距離描述符和角度描述符），這種二維空間描述符具有仿射不變性的，此時(shí)對(duì)圖像處理的方法結(jié)合了區(qū)域匹配和點(diǎn)匹配；

第五步：通過(guò)獲得的基于mser的sift描述符和基于mser的二維空間描述符構(gòu)造綁定距離，然后利用綁定距離的相似性策略得到最終正確的匹配點(diǎn)對(duì)。

區(qū)域匹配通過(guò)給定同一場(chǎng)景的兩幅圖像，然后進(jìn)行粗尺度上圖像對(duì)之間對(duì)比，對(duì)比成功就代表該圖像對(duì)應(yīng)的區(qū)域?yàn)榭汕鍧崊^(qū)域，在對(duì)比過(guò)程中的差異部分進(jìn)行保留。如果將圖像對(duì)空間劃分許多圖像單位，則與劃分之前相比，圖像單位中的任何圖對(duì)應(yīng)圖像單位的相似度都會(huì)提升。

在匹配區(qū)域的算法內(nèi)，首先用尺度不變的dog檢測(cè)器提取特征點(diǎn)，然后用描述子描述特征點(diǎn)，其中包括新描述符集成了基于mser的SIFT描述和基于mser的空間描述符，兩者都具有仿射不變性?；趍ser的Sift描述符使用基于mser的自適應(yīng)橢圓區(qū)域代替圓形區(qū)域來(lái)描述特征點(diǎn)。主方向sift描述子的設(shè)置和計(jì)算在自適應(yīng)橢圓區(qū)域的歸一化圓區(qū)域內(nèi)，保證了描述子的仿射不變性。基于mser的空間描述符由標(biāo)尺組成，度不變特征點(diǎn)由其所屬的歸一化mser單位圓區(qū)域中的空間信息組成。最后采用結(jié)合距離的相似性策略，得到正確的匹配點(diǎn)對(duì)。其中組合距離考慮了光學(xué)和多個(gè)因素，匹配信息使匹配更加準(zhǔn)確。

2 通過(guò)特征匹配算法對(duì)區(qū)域匹配的差異部分進(jìn)行二次匹配

在對(duì)差異區(qū)域進(jìn)行二次對(duì)比分析時(shí)，先是記錄多種常見(jiàn)生活垃圾的圖像作為第一份圖像，然后提取第二幅圖像中每個(gè)特征點(diǎn)的可能范圍，形成一幅小圖像，然后檢測(cè)小區(qū)域中是否有特征點(diǎn)。如果找到特征點(diǎn)，將特征點(diǎn)放在一個(gè)容器中，將第一幅圖像中的對(duì)應(yīng)點(diǎn)放在另一個(gè)容器中；如果在該區(qū)域中未找到特征點(diǎn)，則顯示第一幅圖像，并丟棄圖像的對(duì)應(yīng)點(diǎn)。然后，匹配兩個(gè)容器中的特征點(diǎn)，從而判斷是否對(duì)第二幅圖像中的物體進(jìn)行抓取。

對(duì)區(qū)域匹配產(chǎn)生并記錄的差異區(qū)域進(jìn)行二次匹配，此時(shí)利用慣性導(dǎo)航信息可以提高特征匹配速度，減少誤匹配。由于感知導(dǎo)航系統(tǒng)通常是通過(guò)匹配圖像的特征點(diǎn)來(lái)實(shí)現(xiàn)的，為了通過(guò)獲得的圖像獲得穩(wěn)定的姿態(tài)，需要提取穩(wěn)定的特征點(diǎn)進(jìn)行狀態(tài)變化估計(jì)，但大量的特征描述符會(huì)導(dǎo)致匹配速度變慢；同樣，特征匹配也會(huì)受到不匹配的限制，從而降低姿態(tài)估計(jì)的效率。通過(guò)利用固定在相機(jī)上的慣性導(dǎo)航提供的姿態(tài)[6]，可以縮小特征匹配時(shí)的搜索范圍，從而提高時(shí)間效率，減少成本失配。利用慣性導(dǎo)航提供的數(shù)據(jù)，通過(guò)旋轉(zhuǎn)矩陣和平移向量將圖像中的特征點(diǎn)投影到第二幅圖像中，形成核心線(xiàn)。這條核心線(xiàn)提供了一個(gè)尋找可能匹配的特征點(diǎn)的區(qū)域，它減少了用于特征比較的特征描述符的數(shù)量，并減少了錯(cuò)誤匹配。時(shí)間效率和失配是影響匹配的兩個(gè)主要因素，直接影響相機(jī)姿態(tài)估計(jì)的速度和精度。

主要有四種基于特征的圖像匹配方法：

（1）對(duì)圖像的特征點(diǎn)進(jìn)行匹配。圖像特征點(diǎn)匹配包括建立模板與待匹配圖像，計(jì)算特征點(diǎn)集之間的點(diǎn)對(duì)點(diǎn)對(duì)應(yīng)關(guān)系，并計(jì)算對(duì)應(yīng)點(diǎn)之間的相似度來(lái)判斷圖像是否匹配和點(diǎn)對(duì)點(diǎn)匹配，點(diǎn)對(duì)點(diǎn)匹配為無(wú)顯示的方式，其主要包括最小均方差匹配。

（2）對(duì)圖像的邊緣線(xiàn)進(jìn)行匹配。邊緣線(xiàn)[7]通過(guò)邊緣檢測(cè)[8]得到，在對(duì)比時(shí)將對(duì)比的圖像塊進(jìn)行重疊，從而實(shí)現(xiàn)快速對(duì)比。

（3）對(duì)圖像的閉合輪廓進(jìn)行匹配。輪廓匹配[9]與邊緣匹配對(duì)比方式相同，通過(guò)重疊法進(jìn)行快速比較。

（4）對(duì)圖像的幾何約束進(jìn)行匹配。對(duì)圖像特征之間的幾何約束進(jìn)行比較，并將結(jié)果作為相似性度量，進(jìn)一步提高匹配算法的速度?；谔卣鞯钠ヅ浞椒ㄒ话憔哂辛己玫目够叶然兒蛶缀位兡芰Γ⒕哂幸欢ǖ囊种圃肼暩蓴_能力，其關(guān)鍵在于穩(wěn)定、自動(dòng)和一致的特征提取。

在圖像特征匹配階段，現(xiàn)有的圖像匹配算法對(duì)特征描述子進(jìn)行匹配，會(huì)產(chǎn)生大量的不匹配，這不僅會(huì)降低匹配的精度，而且會(huì)增加圖像匹配的時(shí)間。當(dāng)視覺(jué)采集傳感器與慣性導(dǎo)航傳感器組合時(shí)，可借助慣性導(dǎo)航數(shù)據(jù)計(jì)算特征點(diǎn)可能在同一時(shí)間之后的下一次出現(xiàn)在圖像中的區(qū)域；然后在該區(qū)域內(nèi)找到與圖像中前一時(shí)刻對(duì)應(yīng)的特征點(diǎn)相匹配的特征點(diǎn)，這樣可以提高特征點(diǎn)匹配的精度，減少搜索匹配特征點(diǎn)的面積，減少匹配時(shí)間，采用的匹配算法步驟如下：

第一步：選擇兩幅要匹配的圖像，每個(gè)傳感器數(shù)據(jù)都有其對(duì)應(yīng)的時(shí)間文件，從時(shí)間問(wèn)題文件中找到兩幅圖像對(duì)應(yīng)的時(shí)間問(wèn)題；

第二步：讀取慣性導(dǎo)航數(shù)據(jù)文件，并且在存儲(chǔ)慣性導(dǎo)航數(shù)據(jù)文件的文件夾中有一個(gè)圖像數(shù)據(jù)集，該圖像數(shù)據(jù)集用于存儲(chǔ)慣性導(dǎo)航數(shù)據(jù)文件，圖像中有一對(duì)一的對(duì)應(yīng)時(shí)間問(wèn)題，根據(jù)圖像對(duì)應(yīng)的時(shí)間問(wèn)題，需要找到具有相同時(shí)間問(wèn)題的慣性導(dǎo)航數(shù)據(jù)文件；

第三步：檢測(cè)兩幅圖像中的特征點(diǎn)以形成特征描述符選擇圖像特征匹配算法檢測(cè)兩幅待匹配圖像的特征點(diǎn)并形成特征描述符，因?yàn)椴煌乃惴ň哂胁煌聂敯粜裕斜匾治鲕?chē)載系統(tǒng)拍攝的圖像的特征；

第四步：估計(jì)所述第二圖像中特征點(diǎn)的坐標(biāo)范圍所述坐標(biāo)值可從所述待匹配的第一圖像的第三步中檢測(cè)到的特征點(diǎn)獲得，然后根據(jù)匹配圖像對(duì)應(yīng)的慣性導(dǎo)航數(shù)據(jù)，利用待匹配的特征點(diǎn)獲得坐標(biāo)值，根據(jù)第三步計(jì)算圖像中特征點(diǎn)的變化，并且該特征點(diǎn)在第二幅圖像中找到一個(gè)對(duì)應(yīng)的點(diǎn)，并圍繞該點(diǎn)劃定搜索范圍。

在區(qū)域匹配和特征匹配的組合判定下，先是判定工作區(qū)域，然后在工作區(qū)域內(nèi)尋找差異圖像，將這部分差異圖像進(jìn)行記錄，接著通過(guò)特征匹配進(jìn)行對(duì)比，對(duì)比物為常見(jiàn)的生活垃圾，當(dāng)對(duì)比度足夠時(shí)，通過(guò)家政機(jī)器人將對(duì)比物抓取，送入垃圾桶內(nèi)。

3 家政機(jī)器人抓取規(guī)劃

根據(jù)家政機(jī)器人操作的要求，從機(jī)器人需要依次完成抓取動(dòng)作、移動(dòng)動(dòng)作和投入垃圾桶動(dòng)作等動(dòng)作。然而，時(shí)滯問(wèn)題往往影響運(yùn)行的可靠性和穩(wěn)定性。一方面，在時(shí)間的影響下，系統(tǒng)的輸出在延遲之前由于輸入信號(hào)的作用不會(huì)響應(yīng)。操作員需要面對(duì)t時(shí)間之前的狀態(tài)量，這種情況下操作員不能從抓取機(jī)構(gòu)的實(shí)時(shí)反應(yīng)下獲得反饋，從而難以進(jìn)行操作，導(dǎo)致操作失敗，甚至無(wú)法進(jìn)行操作；另一方面，輸入延長(zhǎng)會(huì)引起系統(tǒng)的相位滯后，對(duì)于維持系統(tǒng)的穩(wěn)定性極為不利。因此，對(duì)于機(jī)器人的自主操作極具實(shí)際價(jià)值，能夠有效提高操作的實(shí)時(shí)性和可靠性，降低人們的成本勞動(dòng)強(qiáng)度。

在家政機(jī)器人的操作系統(tǒng)內(nèi)設(shè)置有遠(yuǎn)程遙操作機(jī)器人系統(tǒng)，遠(yuǎn)程遙操作機(jī)器人系統(tǒng)的是指操作者直接在本地控制主機(jī)器人的運(yùn)動(dòng)的模式，在這種模式下機(jī)器人的位置、姿態(tài)等運(yùn)動(dòng)信息通過(guò)無(wú)線(xiàn)信號(hào)傳輸給控制單元，控制單元在操作員的控制下對(duì)機(jī)器人進(jìn)行命令，使得機(jī)器人能夠完成與操作員所期待的動(dòng)態(tài)操作，當(dāng)遠(yuǎn)程監(jiān)控?cái)z像機(jī)將遠(yuǎn)程截獲物體和環(huán)境的圖像信息傳輸?shù)奖镜毓ぷ髡撅@示器時(shí)，主終端應(yīng)根據(jù)截獲物體的位置進(jìn)行操作。操作員控制主操縱器的運(yùn)動(dòng)，主終端控制計(jì)算機(jī)以檢測(cè)主操縱器的位置和位置，并通過(guò)網(wǎng)絡(luò)將手指的閉合位置發(fā)送到遠(yuǎn)程從屬作業(yè)。從機(jī)器人跟蹤主機(jī)械手的位置和姿態(tài)，逐個(gè)接近目標(biāo)，形成預(yù)抓取模式，同時(shí)，從機(jī)器人與遠(yuǎn)處環(huán)境相互作用產(chǎn)生的力也通過(guò)機(jī)器人傳輸給操作員的通信鏈路反饋給主機(jī)器人，使本地操作員能夠感知遠(yuǎn)程操作信息并產(chǎn)生身臨其境的感覺(jué)，在面對(duì)難以自動(dòng)抓取的物體時(shí)可以由戶(hù)主控制遠(yuǎn)程抓取，同時(shí)提升了家政機(jī)器人的可玩性[10]。

4 結(jié)語(yǔ)

區(qū)域匹配對(duì)比同一場(chǎng)景的兩幅圖像，然后在粗略的尺度上比較圖像對(duì)。如果比較成功，則意味著與圖像對(duì)應(yīng)的區(qū)域是可清潔區(qū)域，并且保留比較過(guò)程中的差異部分。特征匹配對(duì)不同區(qū)域進(jìn)行二次比較分析。在對(duì)區(qū)域匹配生成和記錄的差異區(qū)域進(jìn)行二次匹配時(shí)，利用慣性導(dǎo)航信息可以提高特征匹配的速度，減少誤匹配。在區(qū)域匹配和特征匹配的組合判斷下，首先確定工作區(qū)域，然后在工作區(qū)域中找到差異圖像，記錄這些差異圖像，然后通過(guò)特征匹配進(jìn)行比較。對(duì)比對(duì)象為普通生活垃圾。如果皮革和紙屑，對(duì)比度足夠時(shí)，通過(guò)家用機(jī)器人抓取對(duì)比物，將其送到垃圾桶完成垃圾收集。通過(guò)組合比較，將全家人的垃圾收集能力添加到家用機(jī)器人上，進(jìn)一步解放房主的雙手，打造更美好的生活。