智能導(dǎo)診機(jī)器人的設(shè)計(jì)與實(shí)現(xiàn)*

袁方 馬瑞霞 任海玲 白云峰 李彬 郭學(xué)茹

1.銀川市第一人民醫(yī)院;2.寧夏醫(yī)科大學(xué)

針對(duì)現(xiàn)有智能導(dǎo)診機(jī)器人存在的知識(shí)庫(kù)不完善、功能單一無(wú)法在實(shí)際場(chǎng)景中發(fā)揮作用、智能問(wèn)答系統(tǒng)在應(yīng)答過(guò)程中還存在答非所問(wèn)，應(yīng)答場(chǎng)景有限；后臺(tái)管理平臺(tái)設(shè)計(jì)不合理、語(yǔ)音處理引擎效果不佳、人臉處理引擎不精準(zhǔn)、工作地點(diǎn)固定、機(jī)器人外觀形象設(shè)計(jì)不人性化等問(wèn)題設(shè)計(jì)智能導(dǎo)診機(jī)器人。（1）基于KANO模型確定智能導(dǎo)診機(jī)器人的必備功能、魅力功能、期望功能、無(wú)差異功能；（2）搭建6大知識(shí)庫(kù)，涵蓋24000余條知識(shí)，通過(guò)4大引擎技術(shù)實(shí)現(xiàn)自動(dòng)巡邏、醫(yī)院信息查詢(xún)、科室推薦、專(zhuān)家查詢(xún)、科室導(dǎo)航、帶路引導(dǎo)等14大功能；（3）提出了一種基于深度神經(jīng)網(wǎng)絡(luò)的智能問(wèn)答系統(tǒng)設(shè)計(jì)與優(yōu)化方法實(shí)現(xiàn)流暢的人機(jī)問(wèn)答，將各項(xiàng)單點(diǎn)技術(shù)融會(huì)貫通；（4）完善機(jī)器人后臺(tái)管理平臺(tái)，實(shí)現(xiàn)實(shí)時(shí)監(jiān)控機(jī)器人工作問(wèn)答狀態(tài)、增刪改知識(shí)庫(kù)、數(shù)據(jù)統(tǒng)計(jì)分析等功能；（5）基于環(huán)形6麥克風(fēng)陣列實(shí)現(xiàn)遠(yuǎn)場(chǎng)高精度識(shí)別、基于多模態(tài)視覺(jué)技術(shù)實(shí)現(xiàn)場(chǎng)景人物全感知。本研究研發(fā)的智能導(dǎo)診機(jī)器人基本能夠?qū)崿F(xiàn)自助分診，提升患者滿(mǎn)意度、減少醫(yī)療機(jī)構(gòu)在導(dǎo)醫(yī)工作中的人力資源投入。

0 引言

隨著物聯(lián)網(wǎng)、人工智能、大數(shù)據(jù)、區(qū)塊鏈等信息科學(xué)技術(shù)的迅速發(fā)展，智慧醫(yī)療、智慧醫(yī)院建設(shè)已成為提高醫(yī)療質(zhì)量和患者滿(mǎn)意度的重要手段[1]。醫(yī)院導(dǎo)診工作是患者進(jìn)入醫(yī)院享受的第一道服務(wù)，具有工作難度系數(shù)低、患者就醫(yī)滿(mǎn)意度影響系數(shù)大的特點(diǎn)[2]。然而信息科學(xué)技術(shù)對(duì)醫(yī)院導(dǎo)診工作的賦能作用不明顯，傳統(tǒng)醫(yī)院導(dǎo)診工作仍然在消耗大量的人力資源用于服務(wù)患者對(duì)科室導(dǎo)航、就醫(yī)流程、專(zhuān)家咨詢(xún)等問(wèn)題的咨詢(xún)回答上，存在機(jī)械性、重復(fù)性、低難度性[3]。本研究對(duì)銀川市某三甲醫(yī)院隨機(jī)抽取2692名人員進(jìn)行了問(wèn)卷調(diào)查（導(dǎo)醫(yī)436名、患者2256名），80%的導(dǎo)醫(yī)表示會(huì)因?yàn)橥瑫r(shí)接待太多患者而不能給予很好的服務(wù)，見(jiàn)圖1；95.08%的導(dǎo)醫(yī)表示在導(dǎo)診服務(wù)中，患者問(wèn)詢(xún)的問(wèn)題是重復(fù)的，見(jiàn)圖2；100%的導(dǎo)醫(yī)表示在導(dǎo)診服務(wù)中會(huì)遇見(jiàn)自己無(wú)法回答的問(wèn)題，見(jiàn)圖3；85.25%的導(dǎo)醫(yī)表示希望有一款智能導(dǎo)診機(jī)器人來(lái)輔助導(dǎo)診工作，見(jiàn)圖4。

圖1 服務(wù)情況Fig.1 Service situation

圖2 問(wèn)題重復(fù)情況Fig.2 Duplicate problem

圖3 會(huì)遇見(jiàn)自己無(wú)法回答的問(wèn)題Fig.3 Will encounter questions I can't answer

圖4 對(duì)智能導(dǎo)診機(jī)器人導(dǎo)診的看法Fig.4 Views on intelligent guiding robot

近年來(lái)，智能導(dǎo)診機(jī)器人、嵌入移動(dòng)端的智能問(wèn)答系統(tǒng)相繼問(wèn)世，但未能被醫(yī)院及廣大患者使用，主要原因包括:

（1）知識(shí)庫(kù)不完善，不能覆蓋患者所有的問(wèn)題；（2）功能單一，不能滿(mǎn)足患者需求[4]；（3）基于知識(shí)庫(kù)的智能問(wèn)答系統(tǒng)大多都只能實(shí)現(xiàn)簡(jiǎn)單的功能，無(wú)法在現(xiàn)實(shí)場(chǎng)景中發(fā)揮作用，此外在應(yīng)答過(guò)程中還存在答非所問(wèn)、應(yīng)答場(chǎng)景有限等缺陷；（4）機(jī)器人后臺(tái)管理平臺(tái)設(shè)計(jì)不合理，不具有對(duì)實(shí)時(shí)監(jiān)控機(jī)器人工作問(wèn)答狀態(tài)、增刪改知識(shí)庫(kù)、數(shù)據(jù)統(tǒng)計(jì)分析等功能；（5）智能導(dǎo)診機(jī)器人的語(yǔ)音處理引擎效果不佳，在門(mén)診大廳嘈雜環(huán)境中不能高效準(zhǔn)確識(shí)別患者的語(yǔ)音；（6）人臉處理引擎不精準(zhǔn)，不能同時(shí)從多人中結(jié)合語(yǔ)音引擎處理鎖定咨詢(xún)患者；（7）工作地點(diǎn)固定，不容易被患者發(fā)現(xiàn)并體驗(yàn)，存在被動(dòng)性；（8）機(jī)器人外觀形象設(shè)計(jì)不人性化，導(dǎo)致患者體驗(yàn)度不好，例如高度、頭部靈活度等；（9）嵌入移動(dòng)端的智能問(wèn)答系統(tǒng)，這類(lèi)系統(tǒng)普遍嵌入移動(dòng)端的微信公眾號(hào)或小程序，患者需要打開(kāi)程序，再進(jìn)一步輸入要咨詢(xún)的問(wèn)題，操作繁瑣、不直接，用戶(hù)體驗(yàn)感不好。

2015年銀川市第一人民醫(yī)院積極探索互聯(lián)網(wǎng)+醫(yī)療健康，成立了“互聯(lián)網(wǎng)+醫(yī)療健康研究中心”，基于該平臺(tái)，針對(duì)以上問(wèn)題，2015年銀川市第一人民醫(yī)院積極探索互聯(lián)網(wǎng)+醫(yī)療健康，成立了“互聯(lián)網(wǎng)+醫(yī)療健康研究中心”，本研究研發(fā)了智能導(dǎo)診機(jī)器人，基本能夠?qū)崿F(xiàn)自助分診，提升患者滿(mǎn)意度、減少醫(yī)療機(jī)構(gòu)在導(dǎo)醫(yī)工作中的人力資源投入。

1 系統(tǒng)需求

基于KANO模型的智能導(dǎo)診機(jī)器人功能屬性分析，見(jiàn)表1。

表1 基于KANO模型的智能導(dǎo)診機(jī)器人功能屬性Tab.1 Functional attributes of intelligent guidance robot based on KANO model

基于KANO模型，對(duì)收取的2692份問(wèn)卷調(diào)查（導(dǎo)醫(yī)436名、患者2256名）結(jié)果進(jìn)行了分析，收集患者及導(dǎo)醫(yī)對(duì)智能導(dǎo)診機(jī)器人的功能需求，其中必備屬性4個(gè)，包括:“智能問(wèn)答”“預(yù)約掛號(hào)”“院內(nèi)地圖導(dǎo)航”“隱私保護(hù)”；期望屬性1個(gè)，為“體驗(yàn)反饋”；魅力屬性3個(gè)，包括“最佳科室匹配”“就診百科”“方言識(shí)別”；無(wú)差異屬性1個(gè)，為“人臉識(shí)別”。按照功能/服務(wù)提供優(yōu)先級(jí)，滿(mǎn)足順序?yàn)?必備屬性＞期望屬性＞魅力屬性＞無(wú)差異屬性。因此，在智能導(dǎo)診機(jī)器人的開(kāi)發(fā)上，應(yīng)優(yōu)先滿(mǎn)足智能問(wèn)答、預(yù)約掛號(hào)、院內(nèi)地圖導(dǎo)航、隱私保護(hù)4大功能；其次，滿(mǎn)足期望屬性:體驗(yàn)反饋；再次，滿(mǎn)足魅力屬性，最佳科室匹配、就診百科、方言識(shí)別3大功能；最后，本研究結(jié)合其他智能導(dǎo)診機(jī)器人在應(yīng)用過(guò)程中存在的問(wèn)題，實(shí)現(xiàn)主動(dòng)迎賓、娛樂(lè)聊天、交通查詢(xún)、專(zhuān)家查詢(xún)、健康宣教、科普視頻天氣查詢(xún)等共計(jì)14大功能?；贙ANO模型的智能導(dǎo)診機(jī)器人功能屬性分析見(jiàn)表1。Better-Worse系數(shù)圖如圖5所示。

圖5 Better-Worse系數(shù)圖Fig.5 Better-Worse coefficient diagram

2 系統(tǒng)功能結(jié)構(gòu)設(shè)計(jì)

2.1 系統(tǒng)架構(gòu)

針對(duì)智能導(dǎo)診機(jī)器人知識(shí)庫(kù)不完善，不能覆蓋患者所有的問(wèn)題；功能單一，不能有效提供患者所需信息問(wèn)題，搭建了6大知識(shí)庫(kù)，并基于此6大知識(shí)庫(kù)利用4大引擎技術(shù)，實(shí)現(xiàn)14大功能，全面覆蓋患者就醫(yī)可能涉及到的各種咨詢(xún)問(wèn)題。6大知識(shí)庫(kù)具體包括醫(yī)院信息知識(shí)庫(kù)，涵蓋知識(shí)1600余條；醫(yī)院專(zhuān)家知識(shí)，涵蓋知識(shí)200余條；醫(yī)院導(dǎo)航知識(shí)庫(kù)，涵蓋知識(shí)386條；科普知識(shí)庫(kù)，涵蓋知識(shí)6000余余條視頻知識(shí)及8000余余條文本知識(shí)；疾病診斷知識(shí)庫(kù)包括6000余余條疾病科室知識(shí)庫(kù)及6000余余條癥狀科室知識(shí)，其他知識(shí)庫(kù)涵蓋語(yǔ)料知識(shí)、天氣情況、交通情況等知識(shí)。4的引擎技術(shù)包括語(yǔ)音處理、數(shù)據(jù)采集、人臉處理、知識(shí)處理。14大功能包括:醫(yī)院信息查詢(xún)、主動(dòng)迎賓、科室推薦、娛樂(lè)聊天、交通查詢(xún)、預(yù)約掛號(hào)、就診流程、專(zhuān)家查詢(xún)、科室導(dǎo)航、健康宣教、就醫(yī)評(píng)價(jià)、科普視頻、帶路引導(dǎo)、天氣查詢(xún)等。具體系統(tǒng)架構(gòu)如圖6所示。

圖6 智能導(dǎo)診機(jī)器人系統(tǒng)架構(gòu)圖Fig.6 Architecture diagram of intelligent guidance robot system

2.2 智能問(wèn)答系統(tǒng)

針對(duì)智能導(dǎo)診機(jī)器人在應(yīng)答過(guò)程中還存在答非所問(wèn)，應(yīng)答場(chǎng)景有限問(wèn)題，基于深度神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)優(yōu)化智能問(wèn)答系統(tǒng)。（1）預(yù)處理過(guò)程中，使用詞袋模型結(jié)合Skip-gram模型生成最終的詞向量；（2）優(yōu)化詞向量加權(quán)模塊，擯棄僅根據(jù)詞頻決定詞向量權(quán)重的傳統(tǒng)方法，使用詞頻逆文檔頻率加權(quán)方法來(lái)提高關(guān)鍵詞的權(quán)重，輸出詞語(yǔ)表達(dá)結(jié)果；（3）聯(lián)合使用檢索匹配模型和基于注意力機(jī)制的生成對(duì)話模型產(chǎn)生應(yīng)答，不僅可以回答語(yǔ)料庫(kù)中預(yù)定義的問(wèn)題，還可以通過(guò)長(zhǎng)短期記憶網(wǎng)絡(luò)的訓(xùn)練和預(yù)測(cè)真正理解句子的含義，回答開(kāi)放域的問(wèn)題。智能問(wèn)答系統(tǒng)框架如圖7所示。訓(xùn)練階段邏輯劃分如圖8所示。

圖7 智能問(wèn)答系統(tǒng)框架Fig.7 Intelligent question answering system framework

圖8 訓(xùn)練階段邏輯劃分Fig.8 Logical division of training phase

2.3 后臺(tái)管理平臺(tái)

針對(duì)智能導(dǎo)診機(jī)器人機(jī)器人后臺(tái)管理平臺(tái)設(shè)計(jì)不合理，不具有對(duì)實(shí)時(shí)監(jiān)控機(jī)器人工作問(wèn)答狀態(tài)、增刪改知識(shí)庫(kù)、數(shù)據(jù)統(tǒng)計(jì)分析等功能，搭建覆蓋后臺(tái)管理、機(jī)器人、用戶(hù)操作三大平臺(tái)。后臺(tái)管理平臺(tái)可以實(shí)現(xiàn):數(shù)據(jù)統(tǒng)計(jì)、知識(shí)庫(kù)維護(hù)、實(shí)時(shí)監(jiān)控、遠(yuǎn)程操控等功能；機(jī)器人平臺(tái)可實(shí)現(xiàn)語(yǔ)音識(shí)別、人臉識(shí)別、傳感器感知、定位導(dǎo)航等功能；用戶(hù)操作平臺(tái)可實(shí)現(xiàn)預(yù)約掛號(hào)、觸屏操控、語(yǔ)音咨詢(xún)等功能。機(jī)器人三大平臺(tái)功能架構(gòu)如圖9所示。

圖9 機(jī)器人三大平臺(tái)功能架構(gòu)圖Fig.9 Functional architecture diagram of the three robot platforms

2.4 環(huán)形6麥克風(fēng)陣列

針對(duì)智能導(dǎo)診機(jī)器人的語(yǔ)音處理引擎效果不佳，在門(mén)診大廳嘈雜環(huán)境中不能高效準(zhǔn)確識(shí)別患者的語(yǔ)音問(wèn)題，基于環(huán)形6麥克風(fēng)陣列，通過(guò)語(yǔ)音增強(qiáng)、聲源定位技術(shù)、去混響技術(shù)、聲源信號(hào)提取等技術(shù)，實(shí)現(xiàn)噪聲抑制、回聲抑制、去混響、單或多聲源定位、聲源數(shù)目估計(jì)、源分離等功能，支持360°范圍拾音，±10°聲源定位，5m遠(yuǎn)場(chǎng)交互識(shí)別率92%，喚醒率95%。環(huán)形6麥克風(fēng)陣列如圖10所示，語(yǔ)音交互流程如圖11所示。

圖10 環(huán)形6麥克風(fēng)陣列Fig.10 Ring 6 microphone array

圖11 語(yǔ)音交互步驟Fig.11 Voice interaction steps

2.5 基于多模態(tài)視覺(jué)技術(shù)的場(chǎng)景人物全感知

針對(duì)人臉處理引擎不精準(zhǔn)，不能同時(shí)從多人中結(jié)合語(yǔ)音引擎處理鎖定咨詢(xún)患者問(wèn)題，本研究基于多模態(tài)視覺(jué)技術(shù)實(shí)現(xiàn)場(chǎng)景人物全感知、實(shí)現(xiàn)人臉跟隨、性別年齡分析、手勢(shì)識(shí)別、物體識(shí)別定位等以實(shí)現(xiàn)場(chǎng)景人物全感知。全感知視覺(jué)識(shí)別如圖12所示。

圖12 全感知視覺(jué)識(shí)別Fig.12 Full perception visual recognition

2.6 視覺(jué)和激光雷達(dá)結(jié)合的多傳感器融合導(dǎo)航技術(shù)

針對(duì)智能導(dǎo)診機(jī)器人工作地點(diǎn)固定，不容易被患者發(fā)現(xiàn)并體驗(yàn)，存在被動(dòng)性的缺點(diǎn)，基于結(jié)合視覺(jué)和激光雷達(dá)的多傳感器融合導(dǎo)航技術(shù)，融合激光雷達(dá)可以獲得極高的角度、距離和速度分辨率、抗干擾的能力強(qiáng)、適于工作在日益復(fù)雜和激烈的信息戰(zhàn)環(huán)境中及視覺(jué)導(dǎo)航系統(tǒng)速度快、信息量大、功能多的優(yōu)勢(shì)，實(shí)現(xiàn)智能避障礙、精準(zhǔn)定位、自主巡邏、帶路指引、地圖構(gòu)建等功能。

3 系統(tǒng)實(shí)現(xiàn)

3.1 訪問(wèn)流程

系統(tǒng)基于6大知識(shí)庫(kù)20000余條導(dǎo)診相關(guān)數(shù)據(jù)問(wèn)答對(duì)、4大引擎技術(shù)、為患者提供14大功能，基于深度神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)優(yōu)化智能問(wèn)答系統(tǒng)，利用環(huán)形6麥克風(fēng)陣列、視覺(jué)和激光雷達(dá)結(jié)合的多傳感器融合導(dǎo)航技術(shù)，實(shí)現(xiàn)感知獲取，為患者提供及時(shí)高效智能的導(dǎo)診服務(wù)。人機(jī)交互界面如圖13所示。

圖13 機(jī)器人工作流程圖Fig.13 Robot work flow chart

3.2 系統(tǒng)界面

智能導(dǎo)診機(jī)器人系統(tǒng)界面如圖14所示。

圖14 人機(jī)交互（a）Fig.14 Human-computer interaction （a）

圖14 人機(jī)交互（b）Fig.14 Human-computer interaction （b）

4 討論

本研究針對(duì)現(xiàn)有智能導(dǎo)診機(jī)器人存在的問(wèn)題，基于KANO模型確定了智能導(dǎo)診機(jī)器人的必備功能、魅力功能、期望功能、無(wú)差異功能；搭建6了大知識(shí)庫(kù)，涵蓋24000余條導(dǎo)診數(shù)據(jù)問(wèn)答對(duì)，通過(guò)4大引擎技術(shù)實(shí)現(xiàn)了14大功能；基于深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了智能問(wèn)答系統(tǒng)的設(shè)計(jì)與優(yōu)化；完善了機(jī)器人后臺(tái)管理平臺(tái)，基于環(huán)形6麥克風(fēng)陣列實(shí)現(xiàn)遠(yuǎn)場(chǎng)高精度識(shí)別、基于多模態(tài)視覺(jué)技術(shù)實(shí)現(xiàn)場(chǎng)景人物全感知。本研究研發(fā)的智能導(dǎo)診機(jī)器人基本能夠?qū)崿F(xiàn)自助分診，提升患者滿(mǎn)意度、減少醫(yī)療機(jī)構(gòu)在導(dǎo)醫(yī)工作中的人力資源投入。