江明尹,李 強(qiáng),王道雄,孫冬杰
(華中科技大學(xué)同濟(jì)醫(yī)學(xué)院附屬同濟(jì)醫(yī)院器材科,武漢430030)
伴隨著科學(xué)技術(shù)的不斷發(fā)展,不少高精尖放射治療技術(shù)不斷進(jìn)入臨床,并應(yīng)用于患者的腫瘤治療,大大提高了患者的腫瘤治療質(zhì)量和就醫(yī)安全性。然而,新放射治療技術(shù)的應(yīng)用在提高患者就醫(yī)質(zhì)量的同時(shí),不可避免地引入了新的使用風(fēng)險(xiǎn)。美國醫(yī)學(xué)物理師協(xié)會2016年發(fā)布的The report of Task Group 100 of the AAPM:application of risk analysis methods to radiation therapy quality management報(bào)告表明,35.4%的放射治療失誤是由人為使用失誤引起的[1]。相關(guān)研究表明,人為使用失誤的發(fā)生與醫(yī)療器械可用性設(shè)計(jì)密切相關(guān)[2]。可用性設(shè)計(jì)低劣的放射治療信息系統(tǒng)未能考慮終端用戶的使用能力、知識水平及身體限制等因素,易引發(fā)使用人員的人為使用失誤。因此,如何客觀評估當(dāng)前在用放射治療信息系統(tǒng)的可用性是提高放射治療信息系統(tǒng)可用性設(shè)計(jì)水平的關(guān)鍵[3]。目前,針對放射治療產(chǎn)品可用性主要從主觀和客觀2個方面展開測量評估。如Chan等[4]利用客觀評價(jià)指標(biāo)任務(wù)完成時(shí)間、任務(wù)錯誤率和主觀使用意愿評價(jià)量表作為可用性評估指標(biāo),評估了優(yōu)化設(shè)計(jì)前后放射治療信息系統(tǒng)的可用性。Mazur等[5]通過可用性測試研究了放療物理師在放射治療計(jì)劃系統(tǒng)上執(zhí)行測試任務(wù)時(shí)主觀工作負(fù)荷和客觀工作負(fù)荷(瞳孔直徑、眨眼速率)評價(jià)指標(biāo)之間的相關(guān)關(guān)系。Jiang等[6]從用戶體驗(yàn)的角度,利用美國國家航空航天局任務(wù)負(fù)荷指數(shù)(national aeronautics and space administration task load index,NASA-TLX)量表、測試后可用性問卷(poststudy system usability questionnaire,PSSUQ)評價(jià)了3種不同放射治療信息系統(tǒng)的可用性設(shè)計(jì)。
當(dāng)前,評價(jià)放射治療產(chǎn)品可用性時(shí),研究學(xué)者大多采用1種或2種客觀評估指標(biāo)(如任務(wù)時(shí)間、錯誤率等)[4]、主觀評價(jià)量表指標(biāo)和眼動指標(biāo)[5-6],可用性評價(jià)的指標(biāo)集過于單一,未能全面囊括放射治療產(chǎn)品可用性設(shè)計(jì)對用戶使用的影響。此外,評價(jià)指標(biāo)過于單一容易導(dǎo)致評價(jià)的結(jié)果發(fā)生偏移。因此,豐富放射治療產(chǎn)品可用性評價(jià)指標(biāo),可在一定程度上確保評價(jià)結(jié)果的準(zhǔn)確性。研究表明,用戶的皮膚導(dǎo)電性、皮膚溫度、呼吸頻率、心率等作為使用放射治療產(chǎn)品時(shí)產(chǎn)生的直接生理反應(yīng),可用于評估放射治療產(chǎn)品可用性設(shè)計(jì)對用戶生理狀態(tài)的影響程度[7]。因此,本文采用效率、主觀評價(jià)量表、眼動和生理等可用性評價(jià)指標(biāo),通過用戶更為準(zhǔn)確地評估放射治療產(chǎn)品的可用性。此外,考慮到已有研究未能綜合整合不同類型的評價(jià)指標(biāo),使之形成系統(tǒng)的可用性評估模型,本研究采用偏最小二乘回歸法建立多指標(biāo)融合的放射治療信息系統(tǒng)可用性評估模型,實(shí)現(xiàn)對放射治療信息系統(tǒng)可用性較為準(zhǔn)確的評估。
本研究納入了臨床在用不同廠家和品牌型號的A(產(chǎn)品型號:Trilogy?linear accelerator system,軟件版本:Varian 9.1 control system)、B(產(chǎn)品型號:XHA600E system,軟件版本:XHA600E control system 1.3.12.174)2種放射治療信息系統(tǒng)作為本次可用性的研究對象。
為了有效評估在用放射治療信息系統(tǒng)的可用性,本研究擬從效率、主觀評價(jià)量表、眼動和生理4個維度選擇多個評價(jià)指標(biāo),綜合表征放射治療信息系統(tǒng)的可用性。
1.2.1 主觀評價(jià)量表
(1)系統(tǒng)可用性量表(system usability scale,SUS)。
放射治療信息系統(tǒng)可用性可使用SUS進(jìn)行評判。SUS由10個主觀評測條目構(gòu)成,包含5個正向測評條目和5個反向測評條目,所有測評條目采用5分評分制(1~5分,1分為非常不同意,5分為非常同意),被試的評估得分經(jīng)過換算轉(zhuǎn)換為百分制得分[8]。研究表明,當(dāng)SUS得分>70分時(shí),被評估系統(tǒng)的可用性是可以接受的[9]。
(2)任務(wù)難易程度量表。
放療技師在放射治療信息系統(tǒng)上完成的特定測試任務(wù)的難易程度通過9分制Likert scale(1分為非常困難,5分為中立,9分為非常容易)進(jìn)行評估,以便研究人員從放療技師主觀維度了解放射治療信息系統(tǒng)的易用程度。
(3)NASA-TLX量表。
NASA-TLX量表由美國宇航局設(shè)計(jì),用于評判被試在完成試驗(yàn)任務(wù)時(shí)的工作負(fù)荷,主要包含腦力需求、體力需求、時(shí)間需求、業(yè)績水平、受挫程度以及努力程度6個評測維度[10]。從6個維度對被試進(jìn)行評分,并換算成百分制得分,從而獲得被試完成實(shí)驗(yàn)任務(wù)的工作負(fù)荷。
(4)有用性、滿意度、易用性(usefulness,satisfaction,and ease of use,USE)量表(界面友好性評估量表)。
USE量表主要從有效性、易用性、易學(xué)性以及滿意度4個維度綜合評估產(chǎn)品人機(jī)交互界面設(shè)計(jì)友好性[11]。USE量表共計(jì)30個評價(jià)條目,每個條目的評分分布從1分(不同意)到7分(非常同意)。
1.2.2 效率評價(jià)指標(biāo)
將任務(wù)完成時(shí)間作為效率評價(jià)指標(biāo),通過任務(wù)完成時(shí)間評測被試完成實(shí)驗(yàn)任務(wù)的效率。
1.2.3 眼動指標(biāo)
借助已有可用性研究文獻(xiàn)[12-14],本次研究中選取了如下眼動評價(jià)指標(biāo):瞳孔大小、注視點(diǎn)個數(shù)、平均注視時(shí)間、總注視時(shí)間、眨眼次數(shù)、平均眨眼時(shí)間、眨眼頻率、眼跳次數(shù)、總眼跳時(shí)間。
1.2.4 生理指標(biāo)
為進(jìn)一步完善放射治療信息系統(tǒng)可用性評價(jià)指標(biāo),本研究將被試完成實(shí)驗(yàn)任務(wù)時(shí)的生理信號作為可用性評價(jià)指標(biāo)。依據(jù)已有研究[7],本研究將皮膚導(dǎo)電性、皮膚溫度、呼吸頻率、心率4個生理指標(biāo)作為可用性評價(jià)指標(biāo)。
本研究的目的是對2種臨床在用放射治療信息系統(tǒng)開展可用性測試研究,建立放射治療信息系統(tǒng)可用性評估模型,用于臨床在用放射治療信息系統(tǒng)的可用性評估。因此,依據(jù)臨床使用人員日常使用的功能和操作流程,提煉了以下4個任務(wù)用于可用性測試:(1)查找患者信息及導(dǎo)入放射治療計(jì)劃;(2)審核患者放射治療計(jì)劃;(3)患者進(jìn)行放射治療時(shí)讀取治療界面參數(shù)信息;(4)讀取放射治療信息系統(tǒng)聯(lián)鎖報(bào)警信息。
放射治療信息系統(tǒng)一般由放療技師進(jìn)行操作,因此選取放療技師作為本研究的被試。項(xiàng)目組通過制定嚴(yán)格的篩選標(biāo)準(zhǔn),共選取了30名放療技師參與本研究。參與研究的放療技師具有豐富的放射治療信息系統(tǒng)操作經(jīng)驗(yàn),從而能夠?qū)Ρ狙芯康臏y試內(nèi)容進(jìn)行正確應(yīng)答。
實(shí)驗(yàn)的數(shù)據(jù)采集設(shè)備包括用于記錄被試眼動數(shù)據(jù)的Tobii Glasses 2眼動儀和采集被試生理數(shù)據(jù)的PsyLAB生理采集系統(tǒng)。
在進(jìn)行正式實(shí)驗(yàn)測試前,所有被試都處于良好的健康狀態(tài)。具體實(shí)驗(yàn)流程如圖1所示。
圖1 放射治療信息系統(tǒng)可用性測試實(shí)驗(yàn)流程圖
(1)實(shí)驗(yàn)流程介紹及被試資料收集。項(xiàng)目研究人員簡要向被試介紹實(shí)驗(yàn)流程以及實(shí)驗(yàn)注意事項(xiàng),并利用問卷收集被試人口學(xué)資料。
(2)熟悉實(shí)驗(yàn)放射治療信息系統(tǒng)。實(shí)驗(yàn)前,項(xiàng)目研究人員將對被試進(jìn)行實(shí)驗(yàn)放射治療信息系統(tǒng)的操作培訓(xùn),避免被試出現(xiàn)使用偏倚。同時(shí),被試在測試人員的指導(dǎo)下可進(jìn)行與實(shí)驗(yàn)任務(wù)無關(guān)的操作。
(3)調(diào)試數(shù)據(jù)采集設(shè)備。實(shí)驗(yàn)前,對眼動、生理數(shù)據(jù)采集設(shè)備進(jìn)行調(diào)試,為被試佩戴好數(shù)據(jù)采集設(shè)備,使數(shù)據(jù)采集設(shè)備處于可用狀態(tài)。
(4)采集生理基線資料,進(jìn)行眼動儀校準(zhǔn)。實(shí)驗(yàn)前,需要采集被試在靜息狀態(tài)下的3 min生理信號基線資料,用作后期的數(shù)據(jù)處理。同時(shí),需要被試在研究人員的指導(dǎo)下校準(zhǔn)眼動儀,確保實(shí)驗(yàn)中采集的數(shù)據(jù)準(zhǔn)確可靠。
(5)正式實(shí)驗(yàn)。被試在研究人員的引導(dǎo)下完成4個測試任務(wù)。在被試完成實(shí)驗(yàn)任務(wù)過程中,研究人員將采集被試的眼動、生理和任務(wù)完成時(shí)間數(shù)據(jù)。被試在某一型號放射治療信息系統(tǒng)完成所有試驗(yàn)任務(wù)后,依次填寫任務(wù)難易程度量表、NASA-TLX量表、USE量表和SUS。填寫完主觀評價(jià)量表后,被試依據(jù)實(shí)驗(yàn)流程開展下一個放射治療信息系統(tǒng)的可用性測試實(shí)驗(yàn)。
通過實(shí)驗(yàn)研究,共獲得30名被試在2種不同型號放射治療信息系統(tǒng)進(jìn)行可用性測試的效率(任務(wù)完成時(shí)間)、主觀評價(jià)量表(任務(wù)難易程度量表、USE量表、NASA-TLX量表、SUS)、眼動數(shù)據(jù)和生理數(shù)據(jù)。首先,進(jìn)行數(shù)據(jù)的整理,剔除異常數(shù)據(jù);其次,將SUS得分作為分類變量。研究表明,當(dāng)SUS得分>70分時(shí),被評估系統(tǒng)的可用性是可以接受的;當(dāng)SUS得分≤70分時(shí),被評估系統(tǒng)的可用性不可接受[9]。
通過整理,共獲得60組有效數(shù)據(jù)。以SUS得分作為分類變量將所獲得的60組數(shù)據(jù)分為2組(>70分作為一組,≤70分作為另一組)。然后再以SUS得分作為影響因素,利用SPSS 26.0統(tǒng)計(jì)軟件對放射治療信息系統(tǒng)可用性測試實(shí)驗(yàn)獲得的效率數(shù)據(jù)、主觀評價(jià)量表數(shù)據(jù)、眼動數(shù)據(jù)和生理數(shù)據(jù)進(jìn)行方差齊性檢驗(yàn),結(jié)果見表1。
表1 放射治療信息系統(tǒng)可用性評價(jià)指標(biāo)方差齊性檢驗(yàn)
方差齊性檢驗(yàn)的結(jié)果表明,所有可用性評價(jià)指標(biāo)(效率指標(biāo)、主觀評價(jià)量表、眼動指標(biāo)和生理指標(biāo))P均>0.05,可進(jìn)一步用于放射治療信息系統(tǒng)可用性評估建模研究。同時(shí),研究人員利用SPSS 26.0統(tǒng)計(jì)分析軟件的P-P圖功能對所有指標(biāo)數(shù)據(jù)的分布進(jìn)行了檢驗(yàn),結(jié)果表明,所有數(shù)據(jù)均近似服從正態(tài)分布。在此基礎(chǔ)上,研究人員進(jìn)一步對所有可用性評價(jià)指標(biāo)進(jìn)行單因素方差分析,結(jié)果見表2。
表2 放射治療信息系統(tǒng)可用性評價(jià)指標(biāo)單因素方差分析
單因素方差分析結(jié)果表明,效率指標(biāo)(任務(wù)完成時(shí)間)、主觀評價(jià)量表(任務(wù)難易程度量表、USE量表、NASA-TLX量表)、眼動指標(biāo)(眨眼頻率、總注視時(shí)間)6個指標(biāo)P<0.05,可用于放射治療信息系統(tǒng)的可用性評估建模。生理指標(biāo)由于不滿足建模指標(biāo)入選條件,未能納入建模研究。
為正確建立放射治療信息系統(tǒng)可用性評估模型,必須確認(rèn)評估指標(biāo)間的相關(guān)關(guān)系,表3揭示了建模指標(biāo)間的相關(guān)系數(shù)。通過統(tǒng)計(jì)學(xué)相關(guān)分析方法,可以判斷兩變量之間是否存在相關(guān)關(guān)系。已有研究表明:當(dāng)變量之間存在高度相關(guān)關(guān)系時(shí),變量相關(guān)系數(shù)絕對值在0.8~1.0;當(dāng)變量之間存在強(qiáng)相關(guān)關(guān)系時(shí),變量相關(guān)系數(shù)絕對值在0.6~0.8;當(dāng)變量之間存在中等程度相關(guān)關(guān)系時(shí),變量相關(guān)系數(shù)絕對值在0.4~0.6;當(dāng)變量之間存在弱相關(guān)關(guān)系時(shí),變量相關(guān)系數(shù)絕對值在0.2~0.4;當(dāng)變量之間為極弱相關(guān)或不相關(guān)關(guān)系時(shí),變量相關(guān)系數(shù)絕對值低于0.2[15]。
表3 放射治療信息系統(tǒng)可用性建模指標(biāo)間相關(guān)關(guān)系(r值)
建模指標(biāo)相關(guān)關(guān)系分析表明,不同可用性評價(jià)指標(biāo)間存在多重共線性關(guān)系,各個評價(jià)指標(biāo)并非相互獨(dú)立,傳統(tǒng)的多元回歸建模方法并不一定完全適用。因此,本研究選擇偏最小二乘回歸法作為建模方法。偏最小二乘回歸法建模所需要的樣本量少,能解決建模指標(biāo)高度相關(guān)問題,并能較好地解釋多個自變量與因變量的關(guān)系,且建模結(jié)果更加穩(wěn)定可靠,更適用于本研究的模型構(gòu)建[16]。
以效率指標(biāo)(任務(wù)完成時(shí)間)、主觀評價(jià)量表(任務(wù)難易程度量表、USE量表、NASA-TLX量表)、眼動指標(biāo)(眨眼頻率和總注視時(shí)間)作為自變量,以SUS得分作為因變量。同時(shí),從獲得的60組樣本數(shù)據(jù)中隨機(jī)挑選53組作為訓(xùn)練樣本進(jìn)行建模,剩余7組作為模型驗(yàn)證樣本,并利用MATLAB軟件作為建模工具,標(biāo)準(zhǔn)化建模數(shù)據(jù)集,編寫偏最小二乘回歸代碼,從而獲得放射治療信息系統(tǒng)可用性評估模型:
式中,Y為SUS預(yù)測得分;X1為任務(wù)完成時(shí)間;X2為任務(wù)難易程度量表得分;X3為USE量表得分;X4為NASA-TLX量表得分;X5為眨眼頻率;X6為總注視時(shí)間。
由獲得的放射治療信息系統(tǒng)可用性評估模型可知,在所有可用性評價(jià)指標(biāo)中,起重要作用的指標(biāo)是USE量表和眨眼頻率,其次為任務(wù)難易程度量表和總注視時(shí)間。在這些可用性評價(jià)指標(biāo)中,任務(wù)完成時(shí)間、任務(wù)難易程度量表、NASA-TLX量表和總注視時(shí)間4個指標(biāo)起負(fù)向作用,USE量表和眨眼頻率這2個指標(biāo)起正向作用。使用人員在放射治療信息系統(tǒng)完成操作任務(wù)時(shí)間越長,主觀感覺任務(wù)完成難度越大,工作負(fù)荷越大;在完成任務(wù)時(shí)使用人員總注視時(shí)間越長,表明放射治療信息系統(tǒng)可用性越差。此外,使用人員USE量表評分越高,眨眼頻率數(shù)值越大,表明放射治療信息系統(tǒng)可用性越好。
為驗(yàn)證放射治療信息系統(tǒng)可用性評估模型的有效性,將7組剩余的評價(jià)指標(biāo)數(shù)據(jù)代入所得評估模型中,獲得放射治療信息系統(tǒng)SUS預(yù)測得分,并利用SPSS 26.0統(tǒng)計(jì)軟件將模型SUS預(yù)測得分與實(shí)際得分進(jìn)行配對樣本t檢驗(yàn)。結(jié)果表明,預(yù)測值與實(shí)際值比較P=0.593>0.05,表明預(yù)測值與實(shí)際值無顯著性差異,說明研究獲得的放射治療信息系統(tǒng)可用性評估模型有效,可用作放射治療信息系統(tǒng)的可用性評估。圖2為模型可用性預(yù)測得分與實(shí)際得分對比圖。
圖2 放射治療信息系統(tǒng)可用性評估模型預(yù)測得分和實(shí)際得分對比
研究結(jié)果表明,效率指標(biāo)(任務(wù)完成時(shí)間)、主觀評價(jià)指標(biāo)(任務(wù)難易程度量表、USE量表和NASATLX量表)、眼動指標(biāo)(眨眼頻率和總注視時(shí)間)可用于放射治療信息系統(tǒng)可用性設(shè)計(jì)評估。任務(wù)完成時(shí)間作為效率考核指標(biāo),常常用于評價(jià)醫(yī)療器械可用性設(shè)計(jì)的優(yōu)劣。醫(yī)療器械可用性設(shè)計(jì)的優(yōu)劣關(guān)系到使用人員的操作效率,在本研究中,任務(wù)完成時(shí)間在單因素方差分析中具有顯著性差異,表明放射治療信息系統(tǒng)制造廠商需要注重放射治療信息系統(tǒng)的使用效率。此外,不少可用性研究將主觀評價(jià)量表作為可用性評估的重要指標(biāo)。如任務(wù)難易程度量表,Uzawa等[17]評估呼吸機(jī)可用性時(shí),將任務(wù)難易程度量表作為評價(jià)呼吸機(jī)可用性的主觀評價(jià)指標(biāo),通過獲取使用人員完成任務(wù)時(shí)的主觀感知難易度側(cè)面評估醫(yī)療器械可用性設(shè)計(jì)的優(yōu)劣。同時(shí),醫(yī)療器械可用性設(shè)計(jì)優(yōu)劣同樣會影響使用人員的工作負(fù)荷(NASA-TLX量表得分)和用戶友好體驗(yàn)(USE量表得分)。研究表明,可用性設(shè)計(jì)較差的醫(yī)療器械產(chǎn)品會增大使用人員的工作負(fù)荷和降低用戶體驗(yàn)[18]。
另外,眼動指標(biāo)中的眨眼頻率和總注視時(shí)間在單因素方差分析中也存在著顯著性差異。注視時(shí)間代表被試完成任務(wù)時(shí)關(guān)注某塊興趣區(qū)域的停留時(shí)間,反映了被試獲取試驗(yàn)任務(wù)相關(guān)信息的難易程度。相關(guān)研究結(jié)果表明,注視時(shí)間持續(xù)越長,被試的認(rèn)知負(fù)荷越大,醫(yī)療器械可用性設(shè)計(jì)越差[19]。同時(shí),相關(guān)研究還表明,眨眼頻率與被試的工作負(fù)荷存在相關(guān)關(guān)系[5]。被試的眨眼頻率會隨著工作負(fù)荷的增大而降低。因此,本研究中將眨眼頻率作為放射治療信息系統(tǒng)的可用性評價(jià)指標(biāo)。
此外,在本研究中,不同可用性評價(jià)指標(biāo)之間存在著相關(guān)關(guān)系,如任務(wù)完成時(shí)間與USE量表、眨眼頻率呈負(fù)相關(guān),與任務(wù)難易程度量表、NASA-TLX量表和總注視時(shí)間呈正相關(guān),表明被試任務(wù)完成時(shí)間越長,工作負(fù)荷越大,主觀感知任務(wù)難易程度越大,放射治療信息系統(tǒng)可用性設(shè)計(jì)越差。因此,可以綜合使用多種指標(biāo)表征系統(tǒng)可用性。本研究建立的放射治療信息系統(tǒng)可用性評估模型可靠有效。放射治療信息系統(tǒng)制造廠商可依據(jù)研究建立的模型有針對性地優(yōu)化、改進(jìn)系統(tǒng)可用性設(shè)計(jì),進(jìn)一步提高臨床使用人員的用戶體驗(yàn)。
本文以放射治療信息系統(tǒng)可用性設(shè)計(jì)為研究對象,選取了30名放療技師在2種臨床在用放射治療信息系統(tǒng)上完成特定的實(shí)驗(yàn)任務(wù),運(yùn)用效率指標(biāo)、主觀評價(jià)量表、眼動指標(biāo)和生理指標(biāo)綜合評估放射治療信息系統(tǒng)的可用性。通過對實(shí)驗(yàn)采集的評價(jià)指標(biāo)數(shù)據(jù)進(jìn)行方差齊性檢驗(yàn)和單因素方差分析,篩選了6個可用性評價(jià)指標(biāo)用于評估建模,利用偏最小二乘回歸法篩選建模指標(biāo),建立了放射治療信息系統(tǒng)可用性評估模型,并對評估模型的有效性進(jìn)行了驗(yàn)證。研究表明,效率指標(biāo)、主觀評價(jià)量表和眼動指標(biāo)會因?yàn)榉派渲委熜畔⑾到y(tǒng)可用性設(shè)計(jì)的不同產(chǎn)生不同變化。本文建立的放射治療信息系統(tǒng)可用性評估模型可通過主觀和客觀測量數(shù)據(jù)對放射治療信息系統(tǒng)的可用性進(jìn)行評判,為放射治療信息系統(tǒng)的可用性優(yōu)化設(shè)計(jì)提供了優(yōu)化方法和評價(jià)工具。