基于實(shí)時(shí)VR和體感控制的醫(yī)療輔助機(jī)器人
——“守護(hù)白衣”

河北工業(yè)大學(xué) 楊 凱，武 濱，徐 楚，蘇士鵬，楊淏宇

1 作品簡(jiǎn)介

產(chǎn)品由上位機(jī)、體感控制設(shè)備和智能機(jī)器人構(gòu)成，應(yīng)用了實(shí)時(shí)VR技術(shù)、體感控制技術(shù)、嵌入式開(kāi)發(fā)技術(shù)、APP開(kāi)發(fā)技術(shù)等，具有VR遠(yuǎn)程查房、VR遠(yuǎn)程診斷、信息采集和記錄、VR智能服務(wù)、VR智能換藥、自助消毒等功能。筆者創(chuàng)造性的將實(shí)時(shí)VR技術(shù)與體感控制技術(shù)相結(jié)合，保證遠(yuǎn)程醫(yī)療的效果。產(chǎn)品配備“守護(hù)白衣”配套APP用于顯示患者信息。該產(chǎn)品可應(yīng)用于新型冠狀病毒的防疫與治療，也可用于其他傳染性疾病的治理與護(hù)理。產(chǎn)品結(jié)構(gòu)如圖1所示。

圖1 產(chǎn)品結(jié)構(gòu)

2 技術(shù)原理

（1）實(shí)時(shí)VR技術(shù)：實(shí)時(shí)VR系統(tǒng)由雙目攝像頭和頭戴式VR顯示器構(gòu)成。雙目攝像頭形成雙目立體視覺(jué)，它是機(jī)器視覺(jué)的一種重要形式，是基于視差原理，并利用成像設(shè)備從不同的位置獲取被測(cè)物體的兩幅圖像后，通過(guò)計(jì)算圖像對(duì)應(yīng)點(diǎn)間的位置偏差獲取物體三維幾何信息的方法。

（2）體感控制技術(shù)：該產(chǎn)品將機(jī)器視覺(jué)與可穿戴式體感技術(shù)相結(jié)合，采用視覺(jué)傳感器Kinect Xbox和可穿戴式傳感器Myo臂章，將用戶的自然運(yùn)動(dòng)與機(jī)器人動(dòng)作相結(jié)合，通過(guò)提取人體手臂骨骼和腕部動(dòng)作信息模擬用戶動(dòng)作，進(jìn)行機(jī)械臂控制。

（3）人臉識(shí)別技術(shù)：基于樹莓派搭載的Python3環(huán)境與TensorFlow庫(kù)，利用樹莓派官方攝像頭采集圖像數(shù)據(jù)，通過(guò)CSI接口與樹莓派連接，在編譯環(huán)境中調(diào)用Open Source CV進(jìn)行圖像處理，框畫出人臉進(jìn)行識(shí)別，并在USB接口式電容觸摸屏上顯示，同時(shí)利用串口發(fā)送給STM32。

3 項(xiàng)目創(chuàng)新點(diǎn)及應(yīng)用前景

（1）將實(shí)時(shí)VR技術(shù)與體感控制相結(jié)合，使VR具有良好的交互性。將其應(yīng)用于抗擊疫情等領(lǐng)域，醫(yī)護(hù)人員可通過(guò)體感遠(yuǎn)程控制機(jī)器人，利用實(shí)時(shí)VR與病人遠(yuǎn)程交互，在為病人提供高質(zhì)量服務(wù)的同時(shí)，保障了醫(yī)護(hù)人員的安全，節(jié)約了醫(yī)療防護(hù)用品的使用。

（2）針對(duì)雙目攝像頭采集的雙目視頻流，對(duì)圖像進(jìn)行畸變矯正和去噪，使用空間域?yàn)V波能夠較好地保護(hù)圖像細(xì)節(jié)，提升立體感，增強(qiáng)使用者的沉浸感和體驗(yàn)感。

（3）摒棄傳統(tǒng)單一使用視覺(jué)傳感器或可穿戴式體感傳感器的方式，將機(jī)器視覺(jué)與可穿戴體感技術(shù)相結(jié)合，將用戶的自然運(yùn)動(dòng)與機(jī)器人動(dòng)作相結(jié)合，進(jìn)一步提高控制精度。

4 市場(chǎng)分析

產(chǎn)品前期定位于醫(yī)療市場(chǎng)及政府部門，待產(chǎn)品達(dá)到一定市場(chǎng)占有率后，將其投放在其他對(duì)衛(wèi)生條件有一定要求的場(chǎng)所，如康復(fù)中心、療養(yǎng)院等。

我國(guó)智能醫(yī)療市場(chǎng)日漸龐大，隨著互聯(lián)網(wǎng)技術(shù)的普及，智能醫(yī)療設(shè)備將逐漸倍投至相關(guān)場(chǎng)所。尤其面對(duì)疫情發(fā)生時(shí)，醫(yī)護(hù)人員存在被傳染的風(fēng)險(xiǎn)，因此許多醫(yī)者和專家都呼吁智能醫(yī)療能夠快速落地。但考慮到智能醫(yī)療技術(shù)目前并不完善，對(duì)于該產(chǎn)品技術(shù)而言，VR與體感控制應(yīng)用于醫(yī)療行業(yè)國(guó)內(nèi)尚存在大量空白。