魔方還原機(jī)器人的視覺子系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

黃 銘，陸思良，孔凡讓

（中國科學(xué)技術(shù)大學(xué)精密機(jī)械與精密儀器系，安徽 合肥 230027）

0 引言

隨著科技的發(fā)展，高智能集成化的自動(dòng)化作業(yè)平臺(tái)在各個(gè)領(lǐng)域都有著越來越重要的應(yīng)用，世界各國和地區(qū)在自動(dòng)化智能平臺(tái)上的研究投入也是不遺余力的。機(jī)器人作為自動(dòng)化智能平臺(tái)的一個(gè)重要代表，在實(shí)際應(yīng)用中有著重要的地位，所討論的魔方還原機(jī)器人是其中一個(gè)典型的例子。

視覺系統(tǒng)是機(jī)器人的重要組成部分，是機(jī)器人與外界環(huán)境交互的橋梁，鑒于其重要性，機(jī)器視覺已經(jīng)逐漸發(fā)展成為一門新興的學(xué)科，吸引了國內(nèi)外越來越多研究者的關(guān)注。

針對(duì)魔方還原機(jī)器人而言，視覺系統(tǒng)是其最重要的子系統(tǒng)，機(jī)器人必須通過視覺系統(tǒng)獲取當(dāng)前魔方的狀態(tài)后，才能作進(jìn)一步的求解與還原。目前，魔方顏色主要通過顏色傳感器[1]或CCD攝像頭作為介質(zhì)獲取，這2種方式都需要對(duì)環(huán)境光照度有一定的假設(shè)，但在自然光和光照條件多變的環(huán)境中，顏色受光照影響存在不穩(wěn)定性[2]，往往會(huì)導(dǎo)致識(shí)別的失效。因此，設(shè)計(jì)一個(gè)穩(wěn)健快速，滿足實(shí)時(shí)性、準(zhǔn)確性和適應(yīng)性等性能要求的視覺子系統(tǒng)，使魔方還原機(jī)器人能在各種光照條件下均能正常工作，這在魔方還原機(jī)器人的研制過程中顯得尤為重要。

1 魔方還原機(jī)器人視覺系統(tǒng)分析

魔方還原機(jī)器人是一種能夠?qū)⑷我獯騺y的三階魔方快速還原的機(jī)器人，其組成包括執(zhí)行子系統(tǒng)，視覺子系統(tǒng)，求解子系統(tǒng)和主控制系統(tǒng)4個(gè)模塊，如圖1所示。

圖1 魔方還原機(jī)器人及其系統(tǒng)模塊

魔方還原機(jī)器人的設(shè)計(jì)目標(biāo)是：與操作者互動(dòng)，將操作者提供的任意打亂三階魔方快速還原。由于操作環(huán)境不確定，也可能受到各種人為因素的影響，為了達(dá)到設(shè)計(jì)目標(biāo)，對(duì)機(jī)器人的視覺子系統(tǒng)提出了快速、穩(wěn)定，具有環(huán)境適應(yīng)性等要求。

魔方還原機(jī)器人的視覺子系統(tǒng)的識(shí)別目標(biāo)為魔方，負(fù)責(zé)確定當(dāng)前魔方的狀態(tài)信息，即魔方色塊位置和顏色的識(shí)別。魔方信息包含在顏色塊的組合中，通過識(shí)別魔方面的顏色便可以獲得魔方的狀態(tài)。因此，根據(jù)顏色對(duì)魔方的狀態(tài)進(jìn)行分類和描述，是魔方還原機(jī)器人視覺子系統(tǒng)的主要內(nèi)容。

色彩是物體的重要特征，對(duì)物體顏色的識(shí)別已經(jīng)成為通過計(jì)算機(jī)自動(dòng)獲取目標(biāo)相關(guān)信息的重要手段，被廣泛應(yīng)用在農(nóng)業(yè)、食品、醫(yī)學(xué)和電子工業(yè)等領(lǐng)域。

對(duì)物體顏色的感知可以通過專用的顏色傳感器或CCD攝像頭來實(shí)現(xiàn)。顏色傳感器功能比較單一，用于針對(duì)識(shí)別某種特定的顏色，對(duì)目標(biāo)物體的光照條件有比較嚴(yán)格的要求。CCD攝像頭的通用性較好，CCD獲取物體顏色是通過幾個(gè)步驟來實(shí)現(xiàn)的：獲取物體彩色圖像；對(duì)圖像進(jìn)行分割和處理；根據(jù)圖像特征識(shí)別顏色。采用CCD攝像頭識(shí)別顏色將采樣和處理過程分離，靈活性大，方便通過計(jì)算機(jī)對(duì)后續(xù)處理進(jìn)行優(yōu)化和改進(jìn)。

根據(jù)魔方還原機(jī)器人視覺子系統(tǒng)的特點(diǎn)與需求，系統(tǒng)選取CCD攝像頭作為魔方狀態(tài)識(shí)別的介質(zhì)，通過計(jì)算機(jī)對(duì)采集到的圖像進(jìn)行處理，并提供與其他子系統(tǒng)進(jìn)行通信的接口。

2 顏色描述與顏色空間模型

物體的顏色在數(shù)學(xué)上用顏色空間來表示，彩色數(shù)字圖像的處理必須在一定的顏色空間中進(jìn)行，在應(yīng)用中發(fā)展出多種描述物體顏色的顏色空間模型，在每個(gè)顏色空間模型中，也衍生出多種彩色數(shù)字圖像處理的方法。常用顏色空間模型有RGB顏色空間模型、HSV顏色空間模型、CMYK顏色空間模型以及YUV顏色空間模型等[3]。

RGB顏色空間是線性顏色空間，方便在計(jì)算機(jī)上實(shí)現(xiàn)，被廣泛用在顯示系統(tǒng)中。RGB顏色空間通過三原色的疊加描述所有的顏色，直接從顏色生成的角度去描述顏色。RGB顏色空間在幾何上可以表示成一個(gè)立方體，RGB顏色立方體的3個(gè)坐標(biāo)軸分別代表R，G，B分量[4]，立方體內(nèi)部所有顏色都可以表示成三原色的線性組合。

HSV顏色空間模型可表示為圓柱坐標(biāo)系中的一個(gè)圓錐形子集，如圖2所示。H，S，V分別代表色調(diào)、飽和度和亮度。圓錐的頂面處V＝1，對(duì)應(yīng)RGB顏色空間的R＝1，G＝1，B＝1 3個(gè)面，表示高亮色彩。色調(diào)H定義為繞V軸的旋轉(zhuǎn)角，紅色對(duì)應(yīng)于0°，綠色對(duì)應(yīng)于120°，藍(lán)色對(duì)應(yīng)于240°。飽和度S取值從0到1。在圓錐的頂點(diǎn)處，V＝0，H和S無定義，代表黑色；圓錐的頂面中心處S＝0，V＝1，H無定義，代表白色。

圖2 RGB顏色空間模型與HSV顏色空間模型

CMYK顏色空間模型與RGB顏色空間模型有相似之處，但CMYK顏色空間模型主要應(yīng)用于印刷工業(yè)，印刷業(yè)通過青 （C）、品（M）、黃（Y）、黑（BK）4色印刷，通過4種顏料不同網(wǎng)點(diǎn)面積率的疊印，得到豐富多彩的顏色。

YUV顏色空間是另一種在數(shù)字圖像處理領(lǐng)域廣泛應(yīng)用的顏色空間模型，主要用于現(xiàn)代彩色電視系統(tǒng)中，YUV顏色空間模型將亮度信號(hào)Y和色度信號(hào)U，V分離，保持了黑白電視與彩色電視信號(hào)的兼容性，傳輸占用極少的頻寬。

3 基于顏色空間的顏色識(shí)別方法

根據(jù)顏色空間模型的論述，原理上，RGB顏色空間模型和HSV顏色空間模型更適合用于對(duì)數(shù)字圖像進(jìn)行識(shí)別和處理。RGB顏色空間模型和HSV顏色空間模型在數(shù)字圖像處理領(lǐng)域都有廣泛的應(yīng)用，這2種模型分別從顏色生成和顏色表現(xiàn)的角度描述顏色，在計(jì)算機(jī)邏輯上有著天然的優(yōu)勢(shì)。

3.1 基于RGB顏色空間的顏色識(shí)別

顏色混合基本定律表明，自然界任何一種顏色均可由紅（R）、綠（G）、藍(lán)（B）3種原色混合匹配產(chǎn)生。映射到RGB顏色空間模型，任何一種顏色都對(duì)應(yīng)著RGB空間坐標(biāo)系統(tǒng)中的一個(gè)點(diǎn)，數(shù)學(xué)上可以表示為（R，G，B）。所有在RGB顏色空間模型中對(duì)數(shù)字圖像進(jìn)行的處理，都可以抽象為在RGB空間坐標(biāo)系統(tǒng)中的矩陣運(yùn)算。

在RGB顏色空間中進(jìn)行顏色識(shí)別，常用的方法為標(biāo)準(zhǔn)色差標(biāo)定方法[5-6]。在RGB顏色空間模型中，標(biāo)準(zhǔn)色差的定義為目標(biāo)顏色與參考顏色在RGB空間坐標(biāo)系統(tǒng)中的距離，即

通過該方法識(shí)別顏色，須事先標(biāo)定一個(gè)參考顏色（R0，G0，B0）與一個(gè)容許閾值α，然后計(jì)算目標(biāo)顏色（R1，G1，B1）對(duì)參考顏色的標(biāo)準(zhǔn)色差，根據(jù)求得的標(biāo)準(zhǔn)色差與閾值α的關(guān)系，判斷目標(biāo)顏色是否與參考顏色同色，則有：

在RGB空間坐標(biāo)系統(tǒng)中分析，式（2）所表示的集合可以表示為RGB空間坐標(biāo)系統(tǒng)的一個(gè)球體，該球空間稱為參考顏色（R0，G0，B0）在α閾值內(nèi)的相似空間。

標(biāo)準(zhǔn)色差標(biāo)定方法的結(jié)果完全取決于參考顏色和容許閾值的標(biāo)定。但由于RGB顏色空間中R，G，B分量之間存在高度的相關(guān)性，同種色相的顏色在不同的亮度下其R，G，B值均有較大的變化，難以對(duì)某種色相的顏色標(biāo)定一個(gè)通用的參考值；同時(shí)，容許閾值α決定了識(shí)別的準(zhǔn)確度，α設(shè)置不當(dāng)容易導(dǎo)致不同顏色的相似空間出現(xiàn)重疊現(xiàn)象，造成誤識(shí)別。

3.2 基于HSV顏色空間的顏色識(shí)別

與RGB顏色空間模型從顏色生成角度描述顏色的方法不同，HSV顏色空間將物體的色調(diào)、飽和度以及亮度作為3個(gè)獨(dú)立的分量分離出來，本質(zhì)上與人眼對(duì)物體的感知一致。

原理上，HSV顏色空間模型較RGB顏色空間模型更適合用于對(duì)物體顏色進(jìn)行識(shí)別。第一，去掉亮度分量在圖像中與顏色信息的關(guān)系；第二，色調(diào)分量作為顏色的唯一標(biāo)識(shí)分量（黑色和白色除外），與人眼對(duì)顏色的感知密切相關(guān)。HSV顏色空間模型對(duì)外界光照敏感度比較低，比較適合用于顏色圖像的分割。

通過CCD獲取到的數(shù)字圖像存儲(chǔ)的信息為像素的RGB顏色值，需將圖像的顏色信息由RGB顏色空間轉(zhuǎn)換為HSV顏色空間描述，才能作進(jìn)一步處理。HSV顏色空間模型與RGB顏色空間模型的對(duì)應(yīng)轉(zhuǎn)換關(guān)系為：

鑒于白色與黑色在HSV顏色空間中的特殊性，在HSV顏色空間下對(duì)魔方顏色進(jìn)行識(shí)別時(shí)，魔方黑色面塊通過其顏色V分量是否為零來識(shí)別，魔方白色面塊根據(jù)S與V的值來識(shí)別，其余顏色通過H分量的值來識(shí)別。

4 視覺系統(tǒng)搭建與實(shí)驗(yàn)改進(jìn)

根據(jù)上述分析，搭建了魔方還原機(jī)器人視覺子系統(tǒng)實(shí)驗(yàn)平臺(tái)，如圖3所示。采用MicroVision公司的MV-200UC工業(yè)攝像頭作為圖像采集設(shè)備，采集到的圖像通過計(jì)算機(jī)進(jìn)行處理。

圖3 魔方機(jī)器人視覺子系統(tǒng)結(jié)構(gòu)

視覺子系統(tǒng)工作流程為：通過CCD獲取魔方面的彩色數(shù)字圖像，通過計(jì)算機(jī)進(jìn)行圖像處理，包括圖像的預(yù)處理、圖像的分割、圖像的描述與特征提取，然后將結(jié)果通過傳輸?shù)胶罄m(xù)子系統(tǒng)。

為了模擬各種光照環(huán)境，本研究分別在暗室、白天室內(nèi)以及使用白色強(qiáng)光照射3種環(huán)境下，各采集若干的圖像樣本用于處理，如圖4所示。

圖4 3種光照條件下的魔方樣本圖像

4.1 RGB顏色空間下顏色識(shí)別實(shí)驗(yàn)分析

在采集到的3種圖像中，提取魔方紅色塊區(qū)域的顏色RGB值，分別對(duì)標(biāo)準(zhǔn)紅色的RGB值（255，0，0）計(jì)算標(biāo)準(zhǔn)色差，得到紅色標(biāo)準(zhǔn)色差數(shù)據(jù)的平面分布圖與魔方面標(biāo)準(zhǔn)色差立體分布圖，如圖5所示。

圖5 紅色標(biāo)準(zhǔn)色差分布與魔方面標(biāo)準(zhǔn)色差立體分布

從圖5中紅色標(biāo)準(zhǔn)色差分布可以看出，魔方色塊的標(biāo)準(zhǔn)色差與光照條件以及目標(biāo)點(diǎn)的位置有密切的相關(guān)性。同一種光照條件下，各采樣點(diǎn)對(duì)參考色的標(biāo)準(zhǔn)色差在不同的采樣點(diǎn)之間存在較大的波動(dòng)，在常光環(huán)境中波動(dòng)尤其明顯；當(dāng)光照條件發(fā)生變化后，各采樣點(diǎn)對(duì)參考色的標(biāo)準(zhǔn)色差有著跳躍性的變化。

因此，為了使識(shí)別方法具有環(huán)境適應(yīng)性，應(yīng)該選取一個(gè)較大的容許閾值，使得相似空間足夠大以消除因光照條件變化而產(chǎn)生標(biāo)準(zhǔn)色差的波動(dòng)；但較大的容許閾值伴隨著相似空間的重合風(fēng)險(xiǎn)，選擇過大的容許閾值，會(huì)造成某些目標(biāo)顏色同時(shí)被多個(gè)顏色相似空間包含的情況，極大地降低了識(shí)別的準(zhǔn)確性。魔方面標(biāo)準(zhǔn)色差立體分布如圖5所示。

由此可見，在RGB顏色空間中通過標(biāo)準(zhǔn)色差標(biāo)定方法進(jìn)行顏色識(shí)別，存在準(zhǔn)確性與適應(yīng)性的矛盾，不符合魔方還原機(jī)器人視覺子系統(tǒng)的需求。

4.2 HSV顏色空間下顏色識(shí)別實(shí)驗(yàn)分析

采用不同的方法分析，將獲取的魔方彩圖的顏色信息轉(zhuǎn)換到HSV顏色空間下進(jìn)行處理。在3種光照條件下，將圖像中魔方所有顏色色塊的顏色信息提取出來，把得到的顏色RGB值轉(zhuǎn)換到HSV顏色空間，將得到的魔方面樣點(diǎn)顏色的H分量繪制到同一個(gè)坐標(biāo)中，得到魔方面色塊顏色的H分量分布如圖6所示。

圖6 不同環(huán)境下魔方色塊的H顏色分量分布

由圖6可以看到，魔方色塊在HSV顏色空間中H分量基本維持在一個(gè)較窄的范圍內(nèi)，在強(qiáng)光條件下其穩(wěn)定性最佳，由此可見，H分量在不同顏色之間有較高的辨識(shí)度，可以通過標(biāo)定，在一定的光強(qiáng)范圍實(shí)現(xiàn)穩(wěn)定的顏色識(shí)別。

但是，對(duì)于紅色與橙色這2種在HSV空間中H分量方向上相差無幾的顏色，由于光強(qiáng)的變化，使得紅色與橙色的H分量在一定程度上存在重疊部分，影響了魔方顏色識(shí)別的準(zhǔn)確性。因此，在HSV顏色空間下通過標(biāo)定的方式識(shí)別顏色，只能實(shí)現(xiàn)在一定光強(qiáng)范圍內(nèi)對(duì)顏色的準(zhǔn)確識(shí)別。

進(jìn)一步，將同種光照下的圖像顏色單獨(dú)采樣并轉(zhuǎn)換到HSV顏色空間，其H分量分布如圖7所示。

圖7 同種光照環(huán)境中魔方各顏色值的H分量分布

從圖7可以看出，雖然在多種光照強(qiáng)度下各顏色的H分量可能會(huì)存在重疊，但是在同種光照環(huán)境中，不同顏色的H分量之間有明顯的分隔，并分布在[0，360]無重疊的區(qū)間內(nèi)。根據(jù)實(shí)驗(yàn)結(jié)果，對(duì)HSV顏色空間標(biāo)定方法進(jìn)行改進(jìn)，不事先對(duì)待識(shí)別的顏色進(jìn)行標(biāo)定，而是在將圖像轉(zhuǎn)換到HSV顏色空間之后，對(duì)各目標(biāo)顏色的H分量進(jìn)行排序，根據(jù)目標(biāo)顏色在HSV空間H方向上的排列順序識(shí)別目標(biāo)顏色。

經(jīng)過改進(jìn)后，在各種光照條件下都能實(shí)現(xiàn)魔方的準(zhǔn)確識(shí)別，基本實(shí)現(xiàn)了魔方還原機(jī)器人視覺子系統(tǒng)的設(shè)計(jì)目標(biāo)。

5 結(jié)束語

從魔方還原機(jī)器人項(xiàng)目需要出發(fā)，對(duì)其視覺子系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)進(jìn)行研究，提出了一種具有良好環(huán)境光照適應(yīng)性的顏色識(shí)別方法，并在此基礎(chǔ)上搭建了魔方還原機(jī)器人視覺子系統(tǒng)實(shí)驗(yàn)平臺(tái)，對(duì)提出的方法進(jìn)行了實(shí)驗(yàn)驗(yàn)證與優(yōu)化。該視覺子系統(tǒng)可以在各種光照條件下實(shí)現(xiàn)對(duì)魔方顏色的穩(wěn)定識(shí)別，很好地解決了環(huán)境光照影響顏色識(shí)別的問題，并能很方便地應(yīng)用到其他顏色識(shí)別場(chǎng)合中。

[1]劉增輝.顏色傳感器技術(shù)研究進(jìn)展[J].傳感器技術(shù)，2003，22（4）：1-4.

[2]陳嶺麗，沈蘭蓀.機(jī)器人彩色視覺研究[J].中國科學(xué)技術(shù)大學(xué)學(xué)報(bào)，1991，21（3）：47-52.

[3]岡薩雷斯.數(shù)字圖像處理.2版.[M].北京：電子工業(yè)出版社，2007.

[4]程勇，梁斌，李瑋.適用于足球機(jī)器人視覺子系統(tǒng)的顏色空間比較[J].天津師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2010，30（3）：45-47，48.

[5]Czajewski W.Visual identification of the Rubik’s cube in human environment[J].Przeglad Elektrotechniczny，2004，80（4）：311-314.

[6]Kasprzak W.Rubik’s cube reconstruction from single view for service robots[J].Machine Graphics ＆ Vision，2006，15（3-4）：451-459.