基于雙目視覺信息采集的鏡像康復(fù)機(jī)器人

陳海洋 張宏坡 朱西昆 劉艷紅 韓坤峰 逯 鵬,4*

1(鄭州大學(xué)電氣工程學(xué)院 河南 鄭州 450001)2(機(jī)器人感知與控制河南省工程實驗室 河南 鄭州 450001)3(數(shù)學(xué)工程與先進(jìn)計算國家重點實驗室 河南 鄭州 450001)4(互聯(lián)網(wǎng)醫(yī)療與健康服務(wù)河南省協(xié)同創(chuàng)新中心 河南 鄭州 450001)

0 引 言

腦卒中是我國第一大致殘病因。運(yùn)動康復(fù)[1]訓(xùn)練能使卒中患者喪失的功能重新獲得。

與被動的康復(fù)訓(xùn)練[2]不同，鏡像運(yùn)動康復(fù)機(jī)器人康復(fù)訓(xùn)練以視覺刺激為基礎(chǔ)，基于鏡像對稱的雙側(cè)上肢運(yùn)動模式，使損傷半腦與對側(cè)交互，促進(jìn)感覺及運(yùn)動功能復(fù)原[3]；同時，與醫(yī)師參與動作軌跡[4]相比，鏡像康復(fù)治療[5]更具患者主動性[6]。

本文設(shè)計了一種鏡像康復(fù)機(jī)器人，結(jié)合雙目視覺信息采集技術(shù)[7]和末端[8]導(dǎo)引技術(shù)[9]。其中，利用雙目視覺健側(cè)采集，末端導(dǎo)引患側(cè)輔助，協(xié)助患者完成肩關(guān)節(jié)外展/內(nèi)屈、肘關(guān)節(jié)外展/內(nèi)屈運(yùn)動等。著重研究雙目視覺特點，健側(cè)信息可以無接觸采集，增強(qiáng)了采集的安全性。

實驗表明，機(jī)器人能夠完成肩關(guān)節(jié)外展/內(nèi)屈、肘關(guān)節(jié)外展/內(nèi)屈運(yùn)動等相應(yīng)任務(wù)，為卒中患者康復(fù)訓(xùn)練提供了一種新的途徑。

1 系統(tǒng)總體設(shè)計

人體基本上肢運(yùn)動運(yùn)動參考[10]如圖1所示。

圖1 上肢基本關(guān)節(jié)活動

系統(tǒng)整體設(shè)計思路如圖2所示，其中雙目攝像頭解決健側(cè)信息采集，傳遞到康復(fù)訓(xùn)練器，通過角度和位置控制末端導(dǎo)引式輔助裝置帶動患側(cè)上肢鏡像運(yùn)動，達(dá)到患者主動康復(fù)的目的。

圖2 整體設(shè)計思路

系統(tǒng)總體設(shè)計如圖3所示，由健側(cè)信息采集、患側(cè)輔助裝置等部分組成。上肢運(yùn)動信息經(jīng)健側(cè)信息采集并鏡像轉(zhuǎn)換，傳遞給輔助裝置帶動患側(cè)上肢康復(fù)訓(xùn)練。

圖3 系統(tǒng)總體設(shè)計

2 患側(cè)輔助設(shè)計

患側(cè)通過輔助裝置帶動患者上肢運(yùn)動，模擬各種人體上肢日常行為。末端導(dǎo)引技術(shù)[11]能使患者上肢各關(guān)節(jié)、運(yùn)動肌肉群、運(yùn)動功能神經(jīng)群得到有效的物理刺激，通過傳感器配合可以實時地反映康復(fù)訓(xùn)練的強(qiáng)度和效果，為醫(yī)務(wù)人員提供有參考價值的臨床治療數(shù)據(jù)。

2.1 患側(cè)機(jī)構(gòu)設(shè)計

鏡像上肢輔助機(jī)器人如圖4所示?；紓?cè)輔助裝置參考末端導(dǎo)引式輔助機(jī)器人，輔助上肢進(jìn)行康復(fù)訓(xùn)練，實現(xiàn)肩關(guān)節(jié)和肘關(guān)節(jié)的運(yùn)動。

圖4 鏡像上肢輔助機(jī)器人

裝置主要包括底座、旋轉(zhuǎn)盤、電機(jī)、主臂、副臂、連桿和操作臺等部分。為保證患者腕部可得到訓(xùn)練并保證其腕部安全，設(shè)計的輔助裝置保持水平狀態(tài)。康復(fù)訓(xùn)練系統(tǒng)整體指標(biāo)如表1所示。

表1 機(jī)器人的整體設(shè)計指標(biāo)

裝置結(jié)構(gòu)包括主臂關(guān)節(jié)、副臂關(guān)節(jié)和腰部回轉(zhuǎn)關(guān)節(jié)等三個可控關(guān)節(jié)，分三個電機(jī)分別對其提供動力，設(shè)計的幾何結(jié)構(gòu)分別如圖5、圖6、圖7所示。基于安全導(dǎo)向思想[12]在每個運(yùn)動關(guān)節(jié)上安裝限位開關(guān)，同時控制臺設(shè)置急停按鈕。

圖5 主臂關(guān)節(jié)

圖6 副臂關(guān)節(jié)

圖7 腰部回轉(zhuǎn)關(guān)節(jié)

主臂關(guān)節(jié)包括主臂電機(jī)、主臂、主臂齒輪等部分。設(shè)計3D打印成型的20齒同步齒輪；為達(dá)到運(yùn)動力矩，電機(jī)選用直流減速電機(jī)；主臂選擇壁厚1 mm的碳纖維管，可以達(dá)到硬度要求。表2所示為主臂轉(zhuǎn)動關(guān)節(jié)設(shè)計指標(biāo)。

表2 主臂轉(zhuǎn)動關(guān)節(jié)設(shè)計指標(biāo)

副臂關(guān)節(jié)包括副臂電機(jī)、副臂拉桿、副臂和副臂曲柄齒輪等部分。設(shè)計3D打印成型的副臂曲柄齒輪；選擇與主臂相同的減速電機(jī)；副臂需要配合拉桿運(yùn)動，選擇6 mm碳纖維管做拉桿。表3所示為副臂轉(zhuǎn)動關(guān)節(jié)設(shè)計指標(biāo)。

表3 副臂轉(zhuǎn)動關(guān)節(jié)設(shè)計指標(biāo)

腰部回轉(zhuǎn)關(guān)節(jié)包括回轉(zhuǎn)電機(jī)、底座齒輪、底座等部分。其中由于裝置的負(fù)載和自重最終都落于底板上，根據(jù)承重應(yīng)力分析，選擇8 mm厚亞克力板作為底板。表4所示為腰回轉(zhuǎn)關(guān)節(jié)設(shè)計指標(biāo)。

表4 腰回轉(zhuǎn)關(guān)節(jié)設(shè)計指標(biāo)

2.2 患側(cè)運(yùn)動分析

患側(cè)結(jié)構(gòu)包括主臂關(guān)節(jié)、副臂關(guān)節(jié)和腰部回轉(zhuǎn)關(guān)節(jié)等。根據(jù)機(jī)器人的結(jié)構(gòu)特點，采用D-H(Denavit-Hartenberg)法[13]對其運(yùn)動學(xué)[14]分析。輔助裝置運(yùn)動學(xué)分析如圖8所示。其中θ1是腰部回轉(zhuǎn)關(guān)節(jié)旋轉(zhuǎn)角度；θ2和θ3為主臂關(guān)節(jié)與副臂關(guān)節(jié)旋轉(zhuǎn)的角度；X0Y0Z0為固定基坐標(biāo)，X1Y1Z1為主臂的坐標(biāo)系，X2Y2Z2為副臂的坐標(biāo)系，X3Y3Z3為末端的坐標(biāo)系。

圖8 輔助裝置運(yùn)動學(xué)分析

根據(jù)圖8建立的參考坐標(biāo)系，標(biāo)定出各關(guān)節(jié)標(biāo)準(zhǔn)的D-H參數(shù)如表5所示。表中：d1=0.045 m、a1=0.018 m、a2=0.208 m、a3=0.224 m。

表5 機(jī)器人D-H參數(shù)表

用矩陣A表示后一坐標(biāo)系i相對于前一坐標(biāo)系i-1的變換矩陣：

n-1Tn=An=Rot(z，θn)×Trans(0，0，dn)×

Trans(an，0，0)×Rot(x，an)

(1)

(2)

(5)

手臂末端C點坐標(biāo)系相對于基坐標(biāo)系的總變換矩陣為：

(6)

式中：0T3體現(xiàn)出機(jī)器人的末端執(zhí)行器坐標(biāo)系相對于基坐標(biāo)系的位置關(guān)系和運(yùn)動姿態(tài)；n、o、a表示末端執(zhí)行器相對于基坐標(biāo)的姿態(tài)；p表示末端執(zhí)行器相對于基坐標(biāo)的位置關(guān)系。

構(gòu)建模型求解正運(yùn)動學(xué)解。

(7)

式中：θ1、θ2和θ3為各關(guān)節(jié)角位移。將參數(shù)代入式(7)后有：

(8)

空間模擬圖如圖9所示。

圖9 機(jī)械臂空間仿真圖

2.3 患側(cè)裝置實現(xiàn)

主要零件位置及標(biāo)號如圖10所示。

圖10 主要零件位置圖

其中上三角形是保持腕部始終水平的關(guān)鍵部件；底板是主要載物臺；Z軸大同步輪是帶動腰部回轉(zhuǎn)機(jī)構(gòu)，也是機(jī)械承重一部分。

圖11所示為機(jī)械結(jié)構(gòu)的實物圖，包括底座、旋轉(zhuǎn)盤、電機(jī)、主臂、副臂、連桿和操作臺等部分。

圖11 機(jī)器人實物圖

3 健側(cè)信息采集設(shè)計

健側(cè)信息采集是鏡像康復(fù)的關(guān)鍵[15]。斯坦福大學(xué)開發(fā)的MIME(mirror image motion enabler)[16]通過安裝在健側(cè)的6自由度位置數(shù)字化儀，以及Narang等[17]開發(fā)的機(jī)器人輔助鏡像治療的人機(jī)交互系統(tǒng)通過佩戴的無線體域網(wǎng)(wireless Body-Area Network，WBAN)傳感器等，利用冗余機(jī)械結(jié)構(gòu)、傳感器等接觸式裝置實現(xiàn)健側(cè)采集。

基于安全和患者自由度考慮[18]，利用雙目視覺技術(shù)實現(xiàn)健側(cè)無接觸的、多自由度采集，同時可以最大程度保護(hù)患者。

3.1 采集模型分析

基于雙目立體視覺技術(shù)的模型分析[19]如圖12所示。

圖12 理想的雙目測距相機(jī)

雙目攝像頭的立體標(biāo)定[20]。選擇“張氏標(biāo)定”，待標(biāo)定的攝像頭如圖13所示，主要參數(shù)如表6所示。

圖13 待標(biāo)定的攝像頭

表6 待標(biāo)定的攝像頭的主要參數(shù)

兩相機(jī)的參數(shù)如下：

(1) 內(nèi)部參數(shù)：

左相機(jī)內(nèi)參矩陣：

右相機(jī)內(nèi)參數(shù)矩陣：

左攝像頭畸變系數(shù)矩陣：

式中：k1l、k2l、k3l為左攝像頭徑向畸變的參數(shù)；p1l、p2l為左攝像機(jī)切向畸變的參數(shù)。

右攝像頭畸變系數(shù)矩陣：

(2) 外部參數(shù)：

基本參數(shù)矩陣：

平移矩陣：

其中R、T是用來描述左右兩攝像頭位置關(guān)系的參量。

采用Bouguet極線校正算法[21]進(jìn)行雙目立體校正，整個校正過程如圖14所示。

圖14 校正流程說明圖

通過查找校正圖像(圖14(a))整型像素在非畸變圖(圖14(b))上的對應(yīng)坐標(biāo)，繼而回溯到原始圖像(圖14(a))上的真實浮點坐標(biāo)。

3.2 健側(cè)運(yùn)動識別

基于鏡像治療雙側(cè)同時運(yùn)動的要求，健側(cè)運(yùn)動識別[22]采用匹配速度快的BM[22](Block Matching)算法。BM算法只查找兩幅圖片之間的強(qiáng)紋理，故在弱紋理環(huán)境下只計算少數(shù)點的深度，依據(jù)此原理即可識別出健側(cè)上肢。進(jìn)行健側(cè)上肢的運(yùn)動識別，主要識別上肢的運(yùn)動角度和手臂三維距離。識別算法如圖15所示。

圖15 上肢姿態(tài)識別

4 實 驗

4.1 底板強(qiáng)度實驗

底板是機(jī)械裝置的主要支撐部件，容易承重過度而變形，對材料強(qiáng)度需進(jìn)行應(yīng)力測試以保證機(jī)器人運(yùn)行的穩(wěn)定性。

底板承受負(fù)載重量外還需承受三個電機(jī)、固定螺絲、側(cè)板、齒輪、輔助臂、手腕支架等重量。設(shè)計如圖16所示底板，采用8 mm厚亞克力板材料，對底板進(jìn)行了靜應(yīng)力分析。

圖16 底板模型

模擬極限條件、重力場作用，對底板施力如圖 17所示。側(cè)面施加的25 N應(yīng)用法相力，對鍵槽施加5 N應(yīng)用法相力。

圖17 應(yīng)力施加圖

考慮到計算成本，通過稀疏程度適中網(wǎng)格劃分得到了六面體單元，如圖18(a)所示。檢查無誤后運(yùn)行算例，得到了板應(yīng)力分布云圖和應(yīng)變分布云圖及位移應(yīng)變分布云圖，分別如圖18(b)、圖18(c)與圖18(d)所示。其分析結(jié)果如表7所示。

(a) (b)

(c) (d)圖18 分析結(jié)果

表7 分析結(jié)果數(shù)據(jù)表

4.2 雙目信息采集實驗

本文實驗對象是一名24歲男性，測試環(huán)境為室內(nèi)，測試手為未著衣左手手臂。使用雙目攝像頭采集運(yùn)動信息，將攝像頭放置在機(jī)械臂正下方，進(jìn)行內(nèi)屈30°角度與距離測試。測試方式如圖19所示。

圖19 雙目視覺測試圖

進(jìn)行5組實驗，每組10次內(nèi)屈，結(jié)果如表8所示。

表8 雙目測試誤差分析

測試結(jié)果表明，測試誤差在可接受范圍內(nèi)，利用雙目視覺可完成健側(cè)信息采集。

4.3 患側(cè)動作實驗

4.3.1被試選擇

由于本實驗未進(jìn)行臨床驗證，醫(yī)院倫理委員會認(rèn)為本實驗對腦卒中患者的安全、健康存在隱患，建議使用健康人進(jìn)行前期研究。本實驗從鄭州大學(xué)招募無神經(jīng)疾病史、身體健康的10名本科生和研究生，其中男性5名，女性5名，年齡為24.0±5.0周歲。本實驗經(jīng)過了鄭州大學(xué)電氣工程學(xué)院倫理審查委員會的同意，所有被試者均簽訂了《實驗知情同意書》，并按小時數(shù)給予被試者一定的經(jīng)濟(jì)報酬。

4.3.2實驗范式設(shè)計

為確定雙目視覺能有效完成鏡像實驗動作信息采集，設(shè)計包含三種動作。動作“0”為靜止?fàn)顟B(tài)，如圖20(a)所示，保持健側(cè)上肢與胸部有15°夾角；動作“1”為肩外展動作，如圖20(b)所示，肩關(guān)節(jié)由靜止?fàn)顟B(tài)外展45°角。雙目攝像頭放置于健側(cè)(右)上肢的前側(cè)，保持?jǐn)z像頭垂直放置。

(a) (b)圖20 肩關(guān)節(jié)外展/內(nèi)收

動作“2”為肘關(guān)節(jié)屈曲伸展運(yùn)動，如圖21所示。健側(cè)肘關(guān)節(jié)45°內(nèi)屈后伸展。雙目攝像頭放置于健側(cè)(右)上肢右側(cè)，保持?jǐn)z像頭垂直放置。

圖21 肘關(guān)節(jié)內(nèi)屈/外展

患側(cè)輔助裝置接收健側(cè)采集的動作信息后，帶動患側(cè)上肢運(yùn)動?；紓?cè)輔助裝置運(yùn)動如表9所示。

表9 測試結(jié)果

測試結(jié)果表明，患側(cè)輔助裝置可以完成肩關(guān)節(jié)外展/內(nèi)收和肘關(guān)節(jié)外展/內(nèi)收訓(xùn)練動作。

5 結(jié) 語

本文結(jié)合雙目視覺信息采集技術(shù)和末端導(dǎo)引式技術(shù)，設(shè)計并實現(xiàn)了一種鏡像康復(fù)機(jī)器人，輔助患者進(jìn)行肩關(guān)節(jié)外展/內(nèi)屈、肘關(guān)節(jié)外展/內(nèi)屈的康復(fù)訓(xùn)練。該機(jī)器人實現(xiàn)健側(cè)信息無接觸采集，安全可靠。輔助裝置質(zhì)量輕，易于控制，適用于一定范圍內(nèi)不同尺寸的上肢。實驗結(jié)果表明，輔助患者運(yùn)動的位置角度等滿足患者康復(fù)訓(xùn)練需求，具有實際的應(yīng)用價值。