視覺仿生控制研究綜述

毛曉波 陳鐵軍

(鄭州大學(xué)電氣工程學(xué)院，鄭州 450001)

引言

給機(jī)器人配備智能雙眼，使其像人類一樣感知和獲取環(huán)境信息、快速準(zhǔn)確地切換注視點(diǎn)和跟蹤目標(biāo)，是人們夢寐以求的愿望。為此，人們采用多種基于工學(xué)視角的方法和手段來構(gòu)建智能機(jī)器人視覺系統(tǒng)，使其具備了初步的“視覺”功能。但目前機(jī)器人“眼睛”的視線控制水平還較低級(jí)，在3D雙目協(xié)調(diào)聯(lián)動(dòng)、頭眼協(xié)調(diào)控制、對(duì)突然變化或不可預(yù)測的運(yùn)動(dòng)目標(biāo)的跟蹤、大視野與精確跟蹤之間的矛盾以及因劇烈震動(dòng)引起的視線偏離補(bǔ)償?shù)确矫娴膯栴}尚未得到很好的解決。相比之下，生物視覺經(jīng)過千百萬年的進(jìn)化已極其發(fā)達(dá)和完善，其優(yōu)異的視覺控制機(jī)理是機(jī)器人視覺研究的重要靈感源泉。近年來，視覺仿生研究日益受到重視，成為前沿交叉學(xué)科的研究熱點(diǎn)。根據(jù)模擬生物視覺的不同機(jī)理和不同的功能表現(xiàn)，視覺仿生研究可歸納為兩大方面［1］:一是從視覺感知、認(rèn)知的角度進(jìn)行研究;二是從眼球運(yùn)動(dòng)、視線控制的角度進(jìn)行研究。本文討論的是后者，總結(jié)了靈長類動(dòng)物眼球運(yùn)動(dòng)的特點(diǎn)及其利用價(jià)值，對(duì)國內(nèi)外借鑒生物眼球運(yùn)動(dòng)神經(jīng)控制機(jī)理構(gòu)建仿生機(jī)器眼的研究現(xiàn)狀、存在的問題及未來發(fā)展趨勢做了全面綜述，并針對(duì)目前機(jī)器人視覺控制面臨的技術(shù)難題，提出了開展視覺仿生控制研究的新思路和新構(gòu)想。

1 靈長類動(dòng)物眼球運(yùn)動(dòng)特點(diǎn)及其利用價(jià)值

對(duì)生物視覺原型的研究是進(jìn)行視覺仿生控制研究和構(gòu)建仿生機(jī)器眼的基礎(chǔ)。人類和其它靈長類動(dòng)物的視覺系統(tǒng)包括眼球、視神經(jīng)和視覺中樞，其優(yōu)異的視覺控制性能源于其特殊的生理構(gòu)造和發(fā)達(dá)的中樞神經(jīng)控制機(jī)能。

1.1 視網(wǎng)膜視敏度非均勻分布

靈長類動(dòng)物視網(wǎng)膜中央凹區(qū)(fovea)僅有約5°的視角范圍，光感受器高度集中于此，是視力最敏銳的區(qū)域。為了精細(xì)地識(shí)別物體，需要不斷地改變視線，使感興趣的目標(biāo)圖像落在fovea區(qū)?？焖傺矍驋咭曔\(yùn)動(dòng)(saccade)能夠有意識(shí)地改變視線、切換注視點(diǎn)至 Fovea附近，慢速平滑追隨運(yùn)動(dòng)(smooth pursuit)則做連續(xù)的反饋伺服運(yùn)動(dòng)，維持目標(biāo)圖像在fovea區(qū)域。Saccade和smooth pursuit受大腦不同神經(jīng)支配，前者由目標(biāo)位置驅(qū)動(dòng)，后者由速度驅(qū)動(dòng)，在追蹤變化目標(biāo)時(shí)通常兩種運(yùn)動(dòng)成分共存并不時(shí)地自動(dòng)切換。

視網(wǎng)膜非統(tǒng)一分辨率的特點(diǎn)和Saccade、smooth pursuit快慢模式實(shí)時(shí)切換的控制機(jī)理，對(duì)于機(jī)器人視覺跟蹤控制研究具有重要的啟示作用。

1.2 雙目聯(lián)動(dòng)性

人依靠眼球運(yùn)動(dòng)改變視線，雙目運(yùn)動(dòng)由各自的六條眼外肌協(xié)調(diào)控制，而支配眼外肌的神經(jīng)是第Ⅲ、Ⅳ、Ⅵ對(duì)顱神經(jīng)，根據(jù)大腦指令控制眼球做各種運(yùn)動(dòng)。來自兩個(gè)視網(wǎng)膜的神經(jīng)以半交叉的結(jié)構(gòu)通向左、右大腦半球，相互之間有豐富的神經(jīng)聯(lián)絡(luò)和一定的約束。雙眼是單個(gè)器官的兩個(gè)部分(Single double eye)，中樞神經(jīng)總是發(fā)出一對(duì)信號(hào)同時(shí)控制雙眼。因此，人眼視物總是雙目協(xié)調(diào)聯(lián)動(dòng)的。雙目視覺不僅補(bǔ)償了單眼視覺存在的盲點(diǎn)，擴(kuò)大了視野范圍，而且建立了深度感，形成立體視覺。研究雙目聯(lián)動(dòng)神經(jīng)機(jī)制和立體視覺形成機(jī)理，有助于攻克目前機(jī)器視覺雙目(一主一輔)聯(lián)動(dòng)性不夠、尋找對(duì)應(yīng)點(diǎn)困難等技術(shù)難題。

1.3 頭眼協(xié)調(diào)運(yùn)動(dòng)

人類有完備的頭眼協(xié)調(diào)運(yùn)動(dòng)機(jī)制。前庭器官與視覺系統(tǒng)密切相關(guān)，當(dāng)頭部旋轉(zhuǎn)時(shí)，前庭感受器感應(yīng)刺激而誘發(fā)不受大腦(意識(shí))控制的前庭動(dòng)眼反射(vestibulo-ocular reflex，VOR)運(yùn)動(dòng)，使得頭部轉(zhuǎn)動(dòng)期間驅(qū)使眼球做等量反向的旋轉(zhuǎn)去抵償頭部運(yùn)動(dòng)，以維持視線的相對(duì)穩(wěn)定，保持視網(wǎng)膜圖像的清晰。該機(jī)理可應(yīng)用于機(jī)器人視覺偏差補(bǔ)償算法研究中。

為了重新定位目標(biāo)或快速跟上目標(biāo)，靈長類動(dòng)物需要迅速切換注視點(diǎn)。當(dāng)注視轉(zhuǎn)移(gaze shift)幅度較大時(shí)，除眼球做快速掃視運(yùn)動(dòng)以外，還需要頭頸部、甚至身體共同參與，且各個(gè)部位相互配合、協(xié)調(diào)運(yùn)動(dòng)，才能完成大角度視線轉(zhuǎn)移和目標(biāo)再定位。生物的頭、眼和身體如何精確無誤地協(xié)調(diào)組合產(chǎn)生統(tǒng)一的朝向目標(biāo)的動(dòng)作從而完成視線轉(zhuǎn)移，值得進(jìn)行深入研究并在機(jī)器人頭眼協(xié)調(diào)運(yùn)動(dòng)控制中加以利用。

2 視覺仿生控制研究現(xiàn)狀

2.1 國外研究進(jìn)展

自20世紀(jì)60年代開始，國外學(xué)者在模擬生物眼球運(yùn)動(dòng)方面進(jìn)行了大量的研究和嘗試。

2.1.1 掃視與平滑追蹤運(yùn)動(dòng)

Young等最早建立了掃視采樣模型［2］，輸入輸出分別為目標(biāo)位置和眼球位置，比較后的誤差信號(hào)進(jìn)入閾值電路，誤差超過閾值，經(jīng)掃視潛伏期200 ms延遲后觸發(fā)采樣器，控制眼球轉(zhuǎn)向新目標(biāo);誤差低于閾值，眼球停止運(yùn)動(dòng)。模型未考慮大腦的作用，當(dāng)時(shí)人們對(duì)腦干在眼球運(yùn)動(dòng)中的作用還知之甚少。此后，Robinson修改了Young的模型，模擬大腦并行處理特性，認(rèn)為前庭與眼球運(yùn)動(dòng)神經(jīng)核之間存在一個(gè)神經(jīng)積分器，與內(nèi)側(cè)縱束(MLF)構(gòu)成并行通路，MLF形成的超前網(wǎng)絡(luò)補(bǔ)償眼球運(yùn)動(dòng)裝置的滯后［3］。當(dāng)前眼位與目標(biāo)位置之差經(jīng)過脈沖發(fā)生器進(jìn)入并行通路，經(jīng)積分器后產(chǎn)生位置信號(hào)，與 MLF直接通路共同作用于眼球運(yùn)動(dòng)裝置，產(chǎn)生掃視運(yùn)動(dòng)。該模型具有里程碑意義，此后各種掃視模型均以此為基礎(chǔ)。1999年，Quaia根據(jù)最新的生理學(xué)實(shí)驗(yàn)數(shù)據(jù)指出，小腦在掃視中起著重要作用，模型應(yīng)包含兩個(gè)并行通路，上丘通路提供眼球運(yùn)動(dòng)的大致方向驅(qū)動(dòng)，小腦通路保證眼球準(zhǔn)確地對(duì)準(zhǔn)目標(biāo)［4］。

文獻(xiàn)［5］研究了獼猴和人眼的平滑追蹤運(yùn)動(dòng)，指出平滑追蹤與掃視不同，屬于眼球運(yùn)動(dòng)速度的連續(xù)負(fù)反饋系統(tǒng)，兩者發(fā)生的時(shí)間是獨(dú)立的，平滑追蹤的潛伏期約130 ms，利用內(nèi)部主動(dòng)反饋機(jī)制建立了平滑追蹤模型，模型參數(shù)依據(jù)人眼生理學(xué)數(shù)據(jù)推出，至今仍有參考價(jià)值。1987年，Lisberger等提出的平滑追蹤模型［6］，用視網(wǎng)膜運(yùn)動(dòng)信號(hào)作為并行網(wǎng)絡(luò)的輸入，產(chǎn)生加權(quán)視網(wǎng)膜位置、速度和加速度誤差信號(hào)，這些信號(hào)被組合之后經(jīng)積分器產(chǎn)生眼球速度指令，取得了較好的跟蹤效果，解決了最初采用簡單比例誤差反饋伺服難以克服高增益與大延遲之間矛盾的問題。1989年，Deno等將動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)模型擴(kuò)展至平滑追蹤系統(tǒng)［7］。1990年，Brown研究了眼球運(yùn)動(dòng)生理延遲［8］，在 Robinson 模型［9］上增加 Smith 預(yù)測器解決回路延遲。1998年，Lunghi模擬大腦在視覺跟蹤中的預(yù)測機(jī)制設(shè)計(jì)了自適應(yīng)預(yù)測器，經(jīng)預(yù)先訓(xùn)練，在線修改神經(jīng)網(wǎng)絡(luò)參數(shù)，模擬人類補(bǔ)償130 ms生理延遲的機(jī)能［10］。

1995年之后，人們確認(rèn)在視覺跟蹤中，掃視和平滑追蹤同時(shí)并存、共同完成跟蹤任務(wù)，并開始研究兩種運(yùn)動(dòng)協(xié)調(diào)配合的復(fù)合模型。

Rivlin和Jessica Lee先后提出采用掃視和平滑追蹤兩種模式相互交替控制實(shí)現(xiàn)目標(biāo)跟蹤［11－13］。1998年，Rivlin設(shè)計(jì)最優(yōu)控制器控制兩種模式之間的快速轉(zhuǎn)換，平滑追蹤模式使目標(biāo)維持在中央凹區(qū)域，一旦目標(biāo)跑出凹區(qū)，立即切換至掃視模式，重新定位目標(biāo)后再切換回平滑追蹤模式。2005年，Jessica建立一種雙目對(duì)稱結(jié)構(gòu)控制器模型，采用內(nèi)部開關(guān)策略實(shí)現(xiàn)快慢兩種模式自動(dòng)切換［13］。

2002年，de Brouwer對(duì)獼猴進(jìn)行目標(biāo)跟蹤實(shí)驗(yàn)［14］得出兩個(gè)結(jié)論，一是掃視和平滑追蹤存在一種連續(xù)的重疊;二是視網(wǎng)膜滑動(dòng)信號(hào)為兩種運(yùn)動(dòng)所共享，這與傳統(tǒng)的兩個(gè)系統(tǒng)截然分開的結(jié)論不同。2003年，Blohm通過實(shí)驗(yàn)進(jìn)一步證實(shí)，在目標(biāo)跟蹤過程中，兩種運(yùn)動(dòng)能協(xié)調(diào)配合共同朝向同一個(gè)目標(biāo)，是因?yàn)閮烧吖蚕硗粋€(gè)信息源—目標(biāo)圖像的視網(wǎng)膜滑動(dòng)信息［15］，并首次給出位置信號(hào)輸入平滑追蹤運(yùn)動(dòng)的直接證據(jù)，并非此前普遍認(rèn)為的平滑追蹤僅靠速度誤差驅(qū)動(dòng)［16］。2006年后更多的研究確認(rèn)，掃視和平滑追蹤是受單一感覺運(yùn)動(dòng)機(jī)構(gòu)控制而輸出的兩種結(jié)果，它們共享共同的輸入信號(hào)，即:位置誤差和速度誤差，其輸出是相互協(xié)作的［17－18］。但中樞神經(jīng)如何切換不同的模式去共同完成視覺任務(wù)尚待進(jìn)一步探索。

事實(shí)上，人們在改變視線時(shí)，不只是掃視和平滑追蹤兩種模式，輻合眼球運(yùn)動(dòng)(vergence eye movement)也常伴其中，因?yàn)槎鄶?shù)情況下，下一個(gè)目標(biāo)點(diǎn)不僅在方向上而且在深度上也有變化。2011年，Erkelens提出一種雙重視覺反饋模型［19］，充分考慮了saccade運(yùn)動(dòng)期間vergence的影響。同樣，平滑追蹤過程中也有輻合眼動(dòng)的成分，目前尚未見到包含掃視、平滑追蹤和輻合運(yùn)動(dòng)在內(nèi)的復(fù)合眼球運(yùn)動(dòng)模型。

2.1.2 反射性眼球運(yùn)動(dòng)

從驅(qū)動(dòng)眼動(dòng)的動(dòng)力源來分的話，眼動(dòng)有與注意有 關(guān) 的 眼 動(dòng) (如 述 saccades、smooth pursuit、vergence)和與頭動(dòng)相關(guān)的眼動(dòng)(即反射性眼動(dòng)，如VOR和OKR)兩類。為補(bǔ)償頭部運(yùn)動(dòng)對(duì)穩(wěn)定在視網(wǎng)膜中央凹目標(biāo)圖像的擾動(dòng)，靈長類動(dòng)物依靠前庭器官感應(yīng)頭部運(yùn)動(dòng)并進(jìn)行調(diào)節(jié)。1992年，Gomi等提出一種前庭動(dòng)眼反射-視動(dòng)反射(VOR-OKR)反饋誤差神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)模型［20］，模擬生物 VOR-OKR自適應(yīng)機(jī)制，指出學(xué)習(xí)過程發(fā)生在小腦葉片。但Raymond則認(rèn)為學(xué)習(xí)既發(fā)生于小腦葉片又發(fā)生于腦干［21］。Shibata在 VOR-OKR系統(tǒng)中增加了反饋誤差學(xué)習(xí)控制器，模擬小腦學(xué)習(xí)機(jī)能，改善系統(tǒng)的非線性、通路延遲，提高收斂速度［22］。2005年，Merfeld和Ramat分析了由半規(guī)管感應(yīng)頭部旋轉(zhuǎn)產(chǎn)生的旋轉(zhuǎn)前庭動(dòng)眼反射rVOR和由耳石感應(yīng)頭部平移產(chǎn)生的平移前庭動(dòng)眼反射 tVOR，分別建立了模擬人類的tVOR 和 rVOR 模型［23，24］。文獻(xiàn)［25］利用仿生機(jī)器人iCub robot對(duì)兩種常見的VOR模型進(jìn)行了模擬實(shí)驗(yàn)，分析了小腦在自適應(yīng)特性及圖像穩(wěn)定中的重要作用。

VOR也常在輻合、平滑追蹤等運(yùn)動(dòng)中相伴出現(xiàn)構(gòu)成復(fù)合眼球運(yùn)動(dòng)。2007年，Khojasteh在黑暗環(huán)境中測試眼球運(yùn)動(dòng)發(fā)現(xiàn)，VOR中雙眼共軛運(yùn)動(dòng)伴隨有輻合運(yùn)動(dòng)，且輻合運(yùn)動(dòng)與頭部旋轉(zhuǎn)速度有關(guān)，說明前庭器官對(duì)輻合眼動(dòng)系統(tǒng)有貢獻(xiàn)［26］。而此前普遍認(rèn)為VOR期間的雙眼運(yùn)動(dòng)是完美的共軛運(yùn)動(dòng)。Ojima指出，生物眼球運(yùn)動(dòng)具有典型的自適應(yīng)控制機(jī)制，能夠根據(jù)環(huán)境變化立即做出相應(yīng)的變化和適當(dāng)?shù)捻憫?yīng)，受此啟發(fā)，提出一種非線性耦合神經(jīng)振蕩器網(wǎng)絡(luò)模型及空間-時(shí)間學(xué)習(xí)算法，獲得了平滑追蹤中指令信號(hào)與運(yùn)動(dòng)增益及相位滯后的關(guān)系，建立的平滑追蹤－VOR復(fù)合模型，改善了目標(biāo)跟蹤特性［27］。

2.1.3 注視轉(zhuǎn)移中頭眼協(xié)調(diào)運(yùn)動(dòng)

當(dāng)注視轉(zhuǎn)移幅度較小時(shí)，靈長類動(dòng)物只需眼球掃視即可完成注視點(diǎn)切換;但當(dāng)轉(zhuǎn)移幅度較大時(shí)，除掃視外，還伴隨頭、頸，甚至身體的運(yùn)動(dòng)，這些運(yùn)動(dòng)如何協(xié)調(diào)配合引起了人們的極大興趣，如:視網(wǎng)膜獲得的位移誤差信號(hào)在何處按何必例分解為眼部和頭部位移信號(hào)?初始眼位如何影響眼部和頭部運(yùn)動(dòng)的貢獻(xiàn)比例?大腦在何處編碼了視網(wǎng)膜坐標(biāo)系和以頭部為中心的坐標(biāo)系?等等。關(guān)于頭眼協(xié)調(diào)運(yùn)動(dòng)神經(jīng)機(jī)理，出現(xiàn)了不同的觀點(diǎn)，如:“單獨(dú)通道假說”認(rèn)為眼部和頭部控制信號(hào)來自于上丘的不同路徑［28］;“注視分解假說”認(rèn)為上丘編碼眼部、頭部運(yùn)動(dòng)命令之和，之后分解為眼部和頭部位移信號(hào)［29－30］;“小腦假說”認(rèn)為上丘中間過渡層細(xì)胞與掃視緊密關(guān)聯(lián)，注視位移信號(hào)在小腦中被分解為頭部和眼部幅度［31］;而文獻(xiàn)［32］則研究和總結(jié)了垂直方向注視轉(zhuǎn)移模型的構(gòu)建與水平方向的不同及其內(nèi)在聯(lián)系。2009年之后，人們提出了頭眼協(xié)調(diào)運(yùn)動(dòng)的最優(yōu)控制方法［33－34］，文獻(xiàn)［33］運(yùn)用最優(yōu)控制理論研究了頭眼運(yùn)動(dòng)與注視轉(zhuǎn)移的關(guān)系，提出頭眼運(yùn)動(dòng)最小貢獻(xiàn)力為準(zhǔn)則的最優(yōu)控制方法，并轉(zhuǎn)化為求解兩點(diǎn)邊值問題的微分方程組，仿真結(jié)果印證了“頭、眼分別受控制于不同的控制器”的結(jié)論。但該研究提出的模型不具備生物的自學(xué)習(xí)機(jī)能，文獻(xiàn)［35］在此基礎(chǔ)上提出了一種自學(xué)習(xí)最優(yōu)控制模型，在注視轉(zhuǎn)移過程中自適應(yīng)調(diào)整控制器參數(shù)，對(duì)于再現(xiàn)生物頭眼協(xié)調(diào)特性更近了一步。

文獻(xiàn)［36］通過研究猴子頭部固定和頭部自由運(yùn)動(dòng)兩種情況下眼球運(yùn)動(dòng)的協(xié)調(diào)驅(qū)動(dòng)特性，認(rèn)為是神經(jīng)積分器和前庭器官中的burst-tonic神經(jīng)元在調(diào)整頭部運(yùn)動(dòng)時(shí)眼球的速度。文獻(xiàn)［37］通過分析視覺重定位中頭、眼運(yùn)動(dòng)的實(shí)驗(yàn)數(shù)據(jù)，提出建立頭眼協(xié)調(diào)運(yùn)動(dòng)模型還須考慮一些尚未解決的問題，如:初始眼位對(duì)頭眼相對(duì)貢獻(xiàn)的作用;增加頭部速度對(duì)掃視的影響;頭眼協(xié)調(diào)運(yùn)動(dòng)中眼球速度曲線的雙峰現(xiàn)象;掃視過程中VOR的失敗等。進(jìn)一步研究導(dǎo)致這些現(xiàn)象的神經(jīng)機(jī)制，才能揭示各運(yùn)動(dòng)子系統(tǒng)之間相互協(xié)調(diào)的本質(zhì)。

2.1.4 固視微動(dòng)

人眼在注視靜止目標(biāo)時(shí)，眼球仍處于高頻率無意識(shí)的振動(dòng)之中，一旦振動(dòng)停止，成像就會(huì)變得模糊，這種振動(dòng)保證了圖像的獲取質(zhì)量。人眼的微動(dòng)機(jī)制啟發(fā)人們?nèi)ツM眼球振動(dòng)來改善圖像質(zhì)量［38－39］。張曉林等認(rèn)為，當(dāng)人眼凝視靜止物體時(shí)，眼球自身的震顫(固視微動(dòng))具有突出物體邊緣的作用且包含深度信息［39］。通過特制的攝像機(jī)振動(dòng)裝置模擬固視微動(dòng)所做的實(shí)驗(yàn)確認(rèn)了這一推斷，提取出來的物體邊緣寬度與物體在場景中所處的位置，即物體的景深有一定數(shù)量上的關(guān)系。這項(xiàng)實(shí)驗(yàn)雖是初步的，但給立體視覺研究提供了一個(gè)新的啟示。

事實(shí)上，生物眼球運(yùn)動(dòng)在大多數(shù)情況下是包含上述多種運(yùn)動(dòng)成分的復(fù)合運(yùn)動(dòng)。張曉林等研制了雙眼水平運(yùn)動(dòng)實(shí)驗(yàn)裝置 ，用兩組廣角鏡和望遠(yuǎn)鏡作為仿生雙眼，其中望遠(yuǎn)鏡模擬中央凹視覺，廣角鏡模擬周邊視覺;轉(zhuǎn)角和加速度傳感器模擬前庭半規(guī)管功能，預(yù)測頭部運(yùn)動(dòng);經(jīng)圖像處理與控制模塊輸出驅(qū)動(dòng)電機(jī)，控制眼球做掃視、平滑追蹤和VOR等多種水平眼球運(yùn)動(dòng)。

此外，人們還研究了眼球運(yùn)動(dòng)系統(tǒng)中神經(jīng)積分器的作用［41］、眼球運(yùn)動(dòng)的腦干控制機(jī)理［42－43］，眼球運(yùn)動(dòng)與感知［44］，以及眼球－頭頸的運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)特性［45］等，仿生眼的研究在國外成為前沿研究熱點(diǎn)。

2.2 國內(nèi)研究現(xiàn)狀

國內(nèi)視覺仿生研究多集中于視覺感知認(rèn)知及信息處理方面，在仿生眼運(yùn)動(dòng)控制方面的研究還很少。上海大學(xué)與日本東京工業(yè)大學(xué)合作，嘗試將仿生眼用于低空跟蹤地面目標(biāo)的機(jī)載云臺(tái)控制［46］。華南理工大學(xué)基于眼球生理模型開發(fā)機(jī)器人眼球運(yùn)動(dòng)控制軟件，用于跟蹤和定位活動(dòng)人臉［47］。上海交通大學(xué)研究機(jī)器人注視控制問題，分段實(shí)現(xiàn)頭眼協(xié)調(diào)運(yùn)動(dòng)控制及注視點(diǎn)與深度的關(guān)系，給出帶幾何約束的運(yùn)動(dòng)學(xué)方程［48］。陳維毅等根據(jù)眼球解剖結(jié)構(gòu)，提出在眼外肌作用下的動(dòng)力學(xué)方程組［49］等。除此以外，尚未見到更多的同類研究報(bào)道，仿生眼的研究尚處于起步階段。

3 視覺控制面臨的問題及對(duì)策

目前機(jī)器人眼的研究多是基于工學(xué)方法，利用左右攝像機(jī)獲得目標(biāo)圖像分別進(jìn)行處理，左右眼和頭頸缺乏協(xié)調(diào)聯(lián)動(dòng)機(jī)制，在雙目、頭眼協(xié)調(diào)運(yùn)動(dòng)、視線偏離補(bǔ)償、不確定目標(biāo)追蹤等方面存在諸多技術(shù)障礙，采用仿生技術(shù)是尋求解決這些問題的重要途徑。

仿生機(jī)器眼的研究屬于多學(xué)科交叉研究課題，涉及神經(jīng)生理學(xué)、仿生學(xué)、控制科學(xué)和計(jì)算機(jī)科學(xué)等。國內(nèi)外學(xué)者從各自學(xué)科的角度進(jìn)行了多種嘗試，但仍存在大量的問題需進(jìn)一步研究和探討。

3.1 建立完善的仿生眼模型，為仿生眼的工程化實(shí)用化奠定基礎(chǔ)

國外進(jìn)行此類研究的多是神經(jīng)生理學(xué)者，通過生理學(xué)實(shí)驗(yàn)及數(shù)據(jù)分析，探索眼球運(yùn)動(dòng)的神經(jīng)機(jī)理和病理特征，為醫(yī)學(xué)臨床提供技術(shù)支持，研究結(jié)果大都止步于生理模型，較少考慮其工程實(shí)現(xiàn)和應(yīng)用?；趪馍韺W(xué)研究成果，采用工程仿生學(xué)和控制理論相結(jié)合的方法，將視覺控制生理模型轉(zhuǎn)化為工程技術(shù)模型，實(shí)現(xiàn)生物視覺的優(yōu)異性能，從根本上解決機(jī)器視覺面臨的技術(shù)難題，是智能機(jī)器人研究的重要方向。

目前文獻(xiàn)中的仿生眼模型只模擬了人眼的一種或兩種運(yùn)動(dòng)，且多為單眼或雙眼一維水平運(yùn)動(dòng)。普遍采用掃視與平滑追蹤分離的機(jī)制，難以同時(shí)實(shí)現(xiàn)多種眼球運(yùn)動(dòng)。進(jìn)一步研究各種眼球運(yùn)動(dòng)之間的內(nèi)部關(guān)聯(lián)與神經(jīng)機(jī)理，建立多自由度非線性仿生雙眼運(yùn)動(dòng)模型，同時(shí)實(shí)現(xiàn)掃視、平滑追蹤、異向運(yùn)動(dòng)和反射運(yùn)動(dòng)等多種眼球運(yùn)動(dòng)，尚需進(jìn)行大量的研究。

3.2 引入生物神經(jīng)控制機(jī)理，解決機(jī)器人3D頭眼協(xié)調(diào)控制問題

當(dāng)進(jìn)行大幅度視線轉(zhuǎn)移時(shí)，機(jī)器人的關(guān)節(jié)冗余需要有效地協(xié)調(diào)頭部和雙目的運(yùn)動(dòng)。目前提出的頭眼協(xié)調(diào)運(yùn)動(dòng)系統(tǒng)及學(xué)習(xí)算法多是基于水平方向的二維頭眼系統(tǒng)［50］，雖有學(xué)者提出3D頭眼協(xié)調(diào)運(yùn)動(dòng)控制算法［48］，但采用的是先雙目聚焦，再轉(zhuǎn)動(dòng)頭部，后做眼睛補(bǔ)償?shù)摹胺謺r(shí)”“分段”執(zhí)行方法，并未真正實(shí)現(xiàn)頭眼同時(shí)轉(zhuǎn)向目標(biāo)中的協(xié)調(diào)控制。目前3D頭眼協(xié)調(diào)運(yùn)動(dòng)仍是一項(xiàng)有待突破的技術(shù)難關(guān)。

從生物頭眼協(xié)調(diào)運(yùn)動(dòng)中獲取靈感，研究靈長類動(dòng)物頭、眼和身體協(xié)調(diào)組合完成視線轉(zhuǎn)移的神經(jīng)控制機(jī)理，設(shè)計(jì)雙目頭頸協(xié)調(diào)運(yùn)動(dòng)控制算法，解決機(jī)器人3D頭眼協(xié)調(diào)控制問題不失為一條重要的研究途徑。

3.3 研究人眼跟蹤目標(biāo)的機(jī)理，解決隨意性運(yùn)動(dòng)目標(biāo)跟蹤的快速性和準(zhǔn)確性問題

機(jī)器人“眼”的重要功能之一是視覺跟蹤，目前常采用視覺伺服反饋控制的方法，但對(duì)于突然、快速變化以及行蹤無常的目標(biāo)，常出現(xiàn)目標(biāo)丟失、跟蹤失敗的現(xiàn)象。

人眼在跟蹤變化無常的目標(biāo)中表現(xiàn)出的非凡才能源于其視覺系統(tǒng)中眼球快速掃視和慢速平穩(wěn)追隨之間的協(xié)調(diào)配合和實(shí)時(shí)切換。

深入研究人類眼球運(yùn)動(dòng)模式自動(dòng)切換快速準(zhǔn)確跟蹤目標(biāo)的神經(jīng)生理機(jī)制，將視覺跟蹤中掃視(saccade，事件驅(qū)動(dòng))和平穩(wěn)追隨(smooth pursuit，速度連續(xù)驅(qū)動(dòng))模式的切換看作混雜系統(tǒng)的自適應(yīng)最優(yōu)控制問題加以研究，以期解決隨意性運(yùn)動(dòng)目標(biāo)跟蹤的快速性和準(zhǔn)確性問題。其中兩種模式之間的最佳切換時(shí)機(jī)和預(yù)測算法是研究的關(guān)鍵技術(shù)。

3.4 模擬人類反射性眼球運(yùn)動(dòng)機(jī)理，解決大范圍視線偏離補(bǔ)償問題

機(jī)器人在顛簸路段行走或在復(fù)雜的非結(jié)構(gòu)化環(huán)境中作業(yè)時(shí)，自身機(jī)體振動(dòng)或姿態(tài)發(fā)生變化會(huì)引起較大的視線偏離。通常采用圖像處理(特征提取、目標(biāo)檢測與匹配、空間位置計(jì)算等)的方法來調(diào)節(jié)伺服機(jī)械云臺(tái)，但補(bǔ)償范圍小，圖像穩(wěn)定性差，尚無解決大視線偏離的辦法［51］。

人眼具有很強(qiáng)的自適應(yīng)和自調(diào)節(jié)功能，當(dāng)頭部和身體姿態(tài)發(fā)生變化或背景動(dòng)態(tài)變化時(shí)，仍能清楚地注視和跟蹤目標(biāo)，緣于其前庭動(dòng)眼反射(VOR)和視動(dòng)反射(OKR)機(jī)能。研究人類反射性眼球運(yùn)動(dòng)機(jī)理，建立由基于視網(wǎng)膜滑動(dòng)信息的反饋控制器和基于前庭輸入的前饋控制器組成的自適應(yīng)VOROKR模型，主動(dòng)補(bǔ)償由機(jī)器人姿態(tài)本體變化引起的視覺誤差，解決機(jī)器人大范圍視覺偏差補(bǔ)償問題。

3.5 生物視覺控制機(jī)理的進(jìn)一步研究

人們對(duì)生物視覺在更高層次上的控制機(jī)理還未完全探明，有些機(jī)理尚存爭議，如雙目聯(lián)動(dòng)、頭眼協(xié)調(diào)等尚無確定的函數(shù)關(guān)系，目前只能與生理學(xué)實(shí)驗(yàn)結(jié)果相比較來驗(yàn)證模型的正確性。另外，小腦在視覺跟蹤中的學(xué)習(xí)、校正和協(xié)調(diào)作用，視覺認(rèn)識(shí)與運(yùn)動(dòng)控制的緊密結(jié)合等均值得進(jìn)一步研究。

4 結(jié)語

“物競天擇”的生物世界為人類技術(shù)創(chuàng)新提供了天然寶庫和學(xué)習(xí)泉源。生物眼球運(yùn)動(dòng)控制不僅涉及眼和頭的活動(dòng)，更與中樞神經(jīng)活動(dòng)密切相關(guān)，是大腦控制策略的一種行為表現(xiàn)，其研究涉及神經(jīng)生理學(xué)、仿生學(xué)、控制科學(xué)及計(jì)算機(jī)視覺等多個(gè)學(xué)科，需要用多學(xué)科交叉融合的方法開展研究，同時(shí)要明確研究的目的，不要刻意地為模仿而仿生。

事實(shí)上，生物視覺神經(jīng)控制機(jī)理十分復(fù)雜，且受到大腦主觀意志等因素的影響。仿生眼不可能也沒必要完全真實(shí)地模擬生物眼。應(yīng)采用開放的思維方式，借鑒生物的機(jī)理，結(jié)合機(jī)器的特點(diǎn)，生物與機(jī)器優(yōu)勢互補(bǔ)，用新理論、新方法為機(jī)器人配備一雙“生理參數(shù)”最優(yōu)的智能眼，大幅度提高機(jī)器人視覺控制水平。

［1］毛曉波.仿生機(jī)器眼運(yùn)動(dòng)系統(tǒng)建模與控制研究［D］.鄭州:鄭州大學(xué).2011.

［2］Young LR，Stark L.Variable feedback experiments testing a sampled data model for eye tracking movements［J］.IEEE Transactions on Human Factors in Electronics，1963，4(1):38－51.

［3］Robinson DA.Models of the saccadic eye movement control system［J］.Kybernetik，1973，14(2):71 －83.

［4］Quaia C，Philippe L，Lance MO.Model of the control of saccadesby superior colliculus and cerebellum［J］. J Neurophysiol，1999，82:999 － 1018.

［5］Robinson DA，Gordon JL，Gordon SE.A model of the smooth pursuit eye movement system ［J］. Biological Cybernetics，1986，55(1):43 －57.

［6］Lisberger SG，Morris EJ，Tychsen L.Visual motion processing and sensory-motor integration for smooth pursuit eye movements［J］.Annual Review of Neuroscience，1987，10:97 － 129.

［7］Deno DC，Keller EL，Crandall WF.Dynamical neural network organization of the visual pursuit system［J］.IEEE Transactions on Biomedical Engineering，1989，36(1):85 － 92.

［8］Christopher B.Gaze controls with interactions and delays［J］.IEEE Transactions on Systems，Man，and Cybernetics.1990，20(1):518－527.

［9］Robinson DA，Gordon JL，Gordon SE.A model of the smooth pursuit eye movement system ［J］. Biological Cybernetics，1986，55(1):43 －57.

［10］Lunghi F，Lazzari S，Magenes G.Neural adaptive predictor for visual tracking system［C］ //Proceedings of the 20th Annual International Conference of the IEEE Engineering in Medicine and Biology Society.Hong Kong:IEEE Press，1998(3):1389－1392.

［11］Rivlin E，RotsteinH，ZeeviYY. Two-modecontrol:an oculomotor-based approach totrackingsystems［J］. IEEE Transactions on Automatic Control，1998，43(6):833 － 842.

［12］Rivlin E，Rotstein H.Control of a camera for active vision:Foveal vision，smooth tracking and saccade［J］.International Journal of Computer Vision，2000，39(2):81－96.

［13］Jessica LW，Galiana HL.An internally switched model of ocular tracking with prediction［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering，2005，13(2):186 －193.

［14］Sophie dB，Marcus M，Graham B，et al.Quantitative analysis of catch-up saccades during sustained pursuit［J］. J Neurophysiol，2002，87(4):1772 － 1780.

［15］Blohm G，Marcus M，Philippe L.Interaction between smooth anticipation and saccades during ocular orientation in darkness［J］.J Neurophysiol，2003，89:1423 － 1433.

［16］Blohm G，Marcus M，Philippe L.Direct evidence for a position input to the smooth pursuit system［J］.J Neurophysiol，2005，94:712－721.

［17］Burke MR，Barnes GR.Quantitative differences in smooth pursuit and saccadic eye movements［J］.Exp Brain Res，2006，175(4):596－608.

［18］Orban de Xivry JJ，Lefevre P. Saccades and pursuit:two outcomes of a single sensorimotor process［J］. Journal of Physiology，2007，584(1):11－23.

［19］Erkelens CJ.A dual visual-local feedback model of the vergence eye movement system［J］.Journal of Vision，2011，11(10):21，1－14.

［20］Gomi H，Kawato M.Adaptive feedback control models of the vestibulocerebellum and spinocerebellum ［J］. Biological Cybernetics，1992，68(2):105 －114.

［21］Raymond J，Lisberger S.Neural learning rules for the vestibuloocular reflex［J］.Journal of Neuroscience，1998，18(21):9112－9129.

［22］Shibata T，Schaal S.Biomimetic gaze stabilization based on feedback-error-learning with nonparametric regression networks［J］.Neural Networks，2001，14(2):201 －216.

［23］Merfeld DM，SukyungP，ClaireGPF，etal. Vestibular perception and action employ qualitatively different mechanisms.I.Frequency response of VOR and perceptual responses during translation and tilt［J］.J Neurophysiol，2005，94:186 － 198.

［24］Ramat S，Dominik S，David SZ.Interaural translational VOR:suppression，enhancement，and cognitive control［J］. J Neurophysiol，2005，94:2391 －2402.

［25］Franchi E，F(xiàn)alotico E，Zambrano D，et al.A comparison between two bio-inspired adaptive models of Vestibulo-Ocular Reflex(VOR)implemented on the iCub robot［C］ //201010th IEEE-RAS InternationalConference on Humanoid Robots.Nashville:IEEE Press，2010:251－256.

［26］Khojasteh E，Galiana HL.Modulation of vergence during the vestibulo-ocular reflex［C］ //Proceedings of the 29th Annual International Conference of the IEEE EMBS，Lyon:IEEE Press，2007:23－26.

［27］Ojima S，Yano S.Eye movement model with neural oscillators［C］ //Proceedings of the IEEE International Conference on Neural Networks.Perth:IEEE Press，1995:2297 －2302.

［28］May PJ，PorterJD. Thelaminardistribution ofmacaque tectobulbar and tectospinal neurons［J］.Visual Neuroscience，1992，8(3):257 －276.

［29］Freedman EG，Sparks DL.Eye-head coordination during headunrestrained gaze shifts in rhesus monkeys［J］.Journal of Neurophysiology，1997，77(5):2328 －2348.

［30］Freedman EG，Sparks DL.Activity of cells in the deeper layers of the superior colliculus of the rhesus monkey:Evidence for a gaze displacement command［J］.Journal of Neurophysiology，1997，78(3):1669 －1690.

［31］Wang Xiaoxing，Jin Jesse，Jabri M.Neural network models for the gaze shift system in the superior colliculus and cerebellum［J］.Neural Networks，2002，15:811 － 832.

［32］Rubio-Perez MA，Galvez-Ruiz AL，Sepulveda-Gazquez M，et al.Review of the model of vertical gaze control［J］.Revista De Neurologia，2011，53(8):477 －482.

［33］Andreas AK，Adonis KM.Optimal control of gaze shifts［J］.The Journal of Neuroscience，2009，29(24):7723 －7730.

［34］Saglam M，Lehnen N，Glasauer S.Optimal control of natural eye-head movements minimizes the impact of noise［J］.Journal of Neuroscience，2011，31(45):16185－16193.

［35］Saeb S，Weber C，Triesch J.Learning the optimal control of coordinated eye and head movements［J］.PLoS Comput Biol，2011，7(11):1－12.

［36］Bechara BP，Gandhi NJ.Matching the oculomotor drive during head-restrained and head-unrestrained gaze shifts in monkey［J］.J Neurophysiol，2010，104(2):811 － 828.

［37］Freedman EG.Coordination of the eyes and head during visual orienting［J］.Exp Brain Res，2008，190(4):369 －387.

［38］Engbert R，Mergenthaler K，Sinn P，et al.An integrated model of fixational eye movements and microsaccades［J］.Proceedings of the National Academy of Sciences of the United States of American，2011，108(39):E765 － E770.

［39］張暁林，川合拓郎，熊澤逸夫，等.両眼固視微動(dòng)を用いた立體エッジ畫像生成法［C］//高木幹雄.第11回畫像センシングシンポジウム講演論文集.橫濱:畫像センシング技術(shù)研究會(huì)，2005:303－306.

［40］張暁林，若松秀俊.両眼運(yùn)動(dòng)制御メカニズムの數(shù)學(xué)モデルと視軸制御システムの構(gòu)築［J］.日本ロボット學(xué)會(huì)誌，2002，20(1):89 －97.

［41］Chan WWP，Galiana HL.A nonlinear model of the neural integrator improves detection of deficits in the human VOR［J］.IEEE Transactions on Biomedical Engineering，2010，57(5):1012－1023.

［42］Alkan Y，Gohel S，Biswal BB.Functional connectivity in oculomotor movements［C］ //Proceedings of the IEEE 36th Annual Northeast Bioengineering Conference.New York:IEEE Press，2010:1 －2.

［43］Hafed ZM，Krauzlis RJ.Similarity of superior colliculusinvolvement in microsaccade and saccade generation［J］.J Neurophysiol，2012，107:1904 － 1916.

［44］Schutz AC，Braun DI，Gegenfurtner KR，et al.Eye movements and perception:A selective review［J］.Journal of vision，2011，11(5):1－30.

［45］Farshadmanesh F，Byrne P，Keith GP，et al.Cross-validated models of the relationships between neck muscle electromyography and three-dimensional head kinematics during gaze behavior［J］.J Neurophysiol，2011，107(2):573 － 590.

［46］鄒海榮.低空跟蹤地面目標(biāo)的機(jī)載云臺(tái)運(yùn)動(dòng)仿生控制［D］.上海:上海大學(xué)，2007.

［47］黃素媚，肖南峰.仿人形機(jī)器人兩眼運(yùn)動(dòng)模型和控制方法研究［J］.系統(tǒng)仿真學(xué)報(bào)，2005，17(9):2065－2069.

［48］顧立忠，蘇劍波.仿人機(jī)器人的頭眼協(xié)調(diào)運(yùn)動(dòng)控制研究［J］.機(jī)器人，2008，30(2):165－170.

［49］陳維毅，楊桂通，吳文周.人體眼球的運(yùn)動(dòng)模型及相應(yīng)的動(dòng)力學(xué)方程組［J］.中國生物醫(yī)學(xué)工程學(xué)報(bào)，2000，19(3):266－271.

［50］Kardamakis AA，Grantyn A，Moschovakis AK.Neural network simulations of the primate oculomotor system.V.Eye– head gaze shifts［J］.Biol Cybern，2010，102(3):209 －225.

［51］李恒宇，羅均，李超，等.基于眼球前庭動(dòng)眼反射的機(jī)器人視覺誤差主動(dòng)補(bǔ)償方法［J］.機(jī)器人，2011，33(1):191－197.