基于文本挖掘的臨床帶教評(píng)價(jià)分析

陳 苗 劉 超 莊俊玲 潘 慧 葉 葳 李 航△

基于文本挖掘的臨床帶教評(píng)價(jià)分析

陳 苗1劉 超2莊俊玲1潘 慧1葉 葳1李 航1△

目的 使用文本挖掘方法分析醫(yī)學(xué)生對(duì)臨床帶教老師開放式文本評(píng)價(jià)數(shù)據(jù)，建立新的教學(xué)評(píng)價(jià)方案。方法 對(duì)1084份實(shí)(見)習(xí)學(xué)生對(duì)臨床帶教老師主觀描述性評(píng)價(jià)資料，根據(jù)統(tǒng)計(jì)軟件R中Rwordseg包進(jìn)行分詞，把文字轉(zhuǎn)化成可以量化的指標(biāo)，設(shè)計(jì)算法和程序，建立教學(xué)評(píng)價(jià)指標(biāo)，對(duì)臨床帶教工作進(jìn)行評(píng)分。結(jié)果 有效評(píng)價(jià)的字?jǐn)?shù)呈現(xiàn)冪律分布特征，評(píng)價(jià)用詞反映了學(xué)生對(duì)教學(xué)指導(dǎo)的傾向性。綜合得分≥6.82，6.82>綜合得分>6.13，及綜合得分≤6.13分別表示高質(zhì)量、中等質(zhì)量和低質(zhì)量的臨床帶教工作。結(jié)論 采用文本挖掘方法可以科學(xué)、準(zhǔn)確評(píng)價(jià)臨床帶教工作，為臨床帶教老師考核提出新的方法。

臨床醫(yī)學(xué)教育 教學(xué)評(píng)價(jià) 文本挖掘

臨床實(shí)(見)習(xí)是醫(yī)學(xué)生培養(yǎng)過程中將書本知識(shí)應(yīng)用于實(shí)踐，培養(yǎng)臨床技能的重要階段?？茖W(xué)有效地評(píng)估臨床帶教效果，不僅能夠及時(shí)反饋和衡量老師的教學(xué)工作，也有助于老師獲得有益信息進(jìn)一步改進(jìn)臨床教學(xué)。目前常見的臨床帶教評(píng)教打分系統(tǒng)往往過于簡(jiǎn)單，不能適應(yīng)病房實(shí)際場(chǎng)景的教學(xué)活動(dòng)，也就不能真實(shí)、客觀地反映臨床帶教質(zhì)量[1]。老師也幾乎得不到有價(jià)值的信息，而且學(xué)校對(duì)此難以采信作為教學(xué)監(jiān)督和獎(jiǎng)懲的依據(jù)。通過對(duì)帶教老師進(jìn)行開放性評(píng)價(jià)，可以使實(shí)(見)習(xí)學(xué)生相對(duì)客觀、自由、充分地表達(dá)對(duì)每一位老師個(gè)性化的感受和認(rèn)同。然而，文本語言不便于量化，限制了該評(píng)價(jià)方式的使用效果。因此，本文將根據(jù)千余份臨床帶教評(píng)價(jià)文檔，采用文本挖掘方法對(duì)臨床帶教評(píng)價(jià)進(jìn)行研究，不僅可以從主觀性評(píng)價(jià)中挖掘出許多有價(jià)值的結(jié)論，及時(shí)得到評(píng)價(jià)結(jié)果指導(dǎo)臨床帶教活動(dòng)，也為這類開放式教學(xué)評(píng)價(jià)提供了一類新的解決方案。

對(duì)象與方法

1.研究對(duì)象

2013年1月至2015年10月在北京協(xié)和醫(yī)院內(nèi)科9個(gè)專科輪轉(zhuǎn)的394名實(shí)(見)習(xí)學(xué)生對(duì)臨床帶教老師的1084份開放式評(píng)價(jià)調(diào)查文檔。帶教老師分為查房教授、主治醫(yī)生和住院醫(yī)生。學(xué)生被要求“請(qǐng)寫出對(duì)帶教醫(yī)生的評(píng)價(jià)和意見”。剔除空白回答，共得到394名學(xué)生的2910條有效評(píng)論。每個(gè)學(xué)生評(píng)論的老師數(shù)量在1～10名(平均6名)；每個(gè)老師得到的評(píng)論數(shù)在1～34條(平均4條)。

2.研究方法

使用文本挖掘方法和統(tǒng)計(jì)軟件R對(duì)評(píng)論進(jìn)行分詞、情感分析和構(gòu)建評(píng)價(jià)體系。具體來說：(1)分詞。將每條評(píng)論按標(biāo)點(diǎn)符號(hào)(，。；！)拆分為若干條短句，使用R中的中文分詞工具Rwordseg包將一句完整的評(píng)論分割成若干個(gè)詞條。對(duì)2910條評(píng)論分詞得到47214個(gè)詞條。(2)情感分析。借鑒目前成熟的詞庫對(duì)每個(gè)詞條的詞性、感情色彩、強(qiáng)烈程度、描述類型等進(jìn)行標(biāo)注，把文字轉(zhuǎn)化成可以量化的指標(biāo)。根據(jù)醫(yī)學(xué)特點(diǎn)將某些詞匯進(jìn)行人為設(shè)定，更加客觀地得到醫(yī)學(xué)評(píng)價(jià)詞匯的情感及程度描述。(3)評(píng)價(jià)體系詞庫的構(gòu)建。對(duì)所有評(píng)論分詞后，將其中的情感詞進(jìn)一步劃分為教師風(fēng)范、教學(xué)能力、教學(xué)效果等3個(gè)詞庫。(4)評(píng)價(jià)指標(biāo)得分。將評(píng)論中的詞條與教學(xué)評(píng)價(jià)各項(xiàng)指標(biāo)匹配并對(duì)其賦予相應(yīng)分?jǐn)?shù)，得到每名老師的教學(xué)評(píng)價(jià)指標(biāo)得分值。有1條以上評(píng)論的老師，將各條評(píng)論得分平均定義為相應(yīng)評(píng)價(jià)指標(biāo)的得分。評(píng)分步驟如下：①尋找每一個(gè)短句中的情感詞，對(duì)每一個(gè)情感詞i賦值sign_i(正面情感取1，負(fù)面情感取-1)；建立情感詞與“教師風(fēng)范、教學(xué)水平、教學(xué)效果”之間的匹配，給短句貼上對(duì)應(yīng)情感體系詞庫的標(biāo)簽。②對(duì)短句中的每個(gè)情感詞，遍歷其前后最多5個(gè)詞語，對(duì)所有程度修飾詞j取程度平均分meanj(scorei,j)。③遍歷每個(gè)情感詞前后最多5個(gè)詞語，對(duì)所有否定詞k取signi,k取-1分，然后求積∏ksigni,k。④將以上②和③的得分乘積得到每一個(gè)情感詞產(chǎn)生的情感得分(signi×meanj(scorei,j)×∏ksigni,k)，該得分在-5～5分。⑤對(duì)該句所有的情感得分求平均，即得到該短句的初始評(píng)分scoresentence=meani(signi×meanj(scorei,j)×∏ksigni,k)。若情感得分無法給出，默認(rèn)情感得分為0。最終得到的評(píng)分范圍在-5～5。⑥將評(píng)分標(biāo)準(zhǔn)化變換后得到短句的標(biāo)準(zhǔn)得分(取值在0～10)：

通過步驟①～⑥，計(jì)算得到了每一條短句的得分并給其貼上了情感體系標(biāo)簽。然后，將每條評(píng)論中有相同情感體系標(biāo)簽的短句得分求平均分，即得到該條評(píng)價(jià)在教師風(fēng)范、教學(xué)能力、教學(xué)效果等方面的得分。由于本研究涉及3年多帶教工作，有的醫(yī)生在此期間執(zhí)行不同帶教工作，如先后作為住院醫(yī)生和主治醫(yī)生，這里視為不同的樣本。

結(jié) 果

1.開放性評(píng)論的基本特點(diǎn)

評(píng)論字?jǐn)?shù)呈現(xiàn)典型冪律分布特征，74.1%的評(píng)論的字?jǐn)?shù)在10個(gè)字以上。詞條的頻數(shù)分析顯示，前80個(gè)詞條主要為“認(rèn)真、負(fù)責(zé)、清晰”等褒義詞條，累計(jì)頻數(shù)達(dá)到全部的82.83%。字?jǐn)?shù)長(zhǎng)度反映了學(xué)生對(duì)老師的認(rèn)可，字?jǐn)?shù)越多，評(píng)價(jià)越全面詳盡。而學(xué)生選用正面肯定性評(píng)價(jià)詞匯以及強(qiáng)調(diào)性修飾語，反映了學(xué)生對(duì)每個(gè)老師個(gè)體的感知和良好的教學(xué)體驗(yàn)。因此，臨床帶教的開放性評(píng)論不僅為分析提供了堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ)，而且反映了學(xué)生對(duì)臨床帶教工作給予了充分肯定。

2.臨床帶教的評(píng)價(jià)分析

(1)評(píng)價(jià)指標(biāo)體系

根據(jù)詞條的感情色彩和程度，將其與教學(xué)評(píng)價(jià)各項(xiàng)指標(biāo)分別進(jìn)行匹配，構(gòu)建了涵蓋“教師風(fēng)范、教學(xué)能力、教學(xué)效果”的評(píng)價(jià)指標(biāo)體系(表1)。在2910條評(píng)論中，60%的評(píng)論涉及教師風(fēng)范，48%涉及教學(xué)能力，15%涉及教學(xué)效果。

表1 臨床帶教評(píng)價(jià)指標(biāo)

由于教師風(fēng)范、教學(xué)能力和教學(xué)效果之間的相關(guān)系數(shù)絕對(duì)值均不高于0.2，這意味著它們之間幾乎沒有信息重疊，均反映了臨床帶教工作中的一個(gè)方面，因此我們直接對(duì)這三個(gè)指標(biāo)求算數(shù)平均得到臨床帶教綜合評(píng)價(jià)得分F：

F=(x1+x2+x3)/3

Shapiro-Wilk正態(tài)性檢驗(yàn)顯示F服從正態(tài)分布(P>0.05)?？偟膩砜?，F(xiàn)的平均值是6.45，標(biāo)準(zhǔn)差是0.71，這意味著老師的臨床帶教工作得到了學(xué)生的認(rèn)可，與前面的描述非常符合。這表明該綜合得分可以合理反映老師的臨床帶教工作。根據(jù)正態(tài)分布的特點(diǎn)，我們把高于綜合得分75%分位數(shù)(6.82)的綜合得分定義為高質(zhì)量的臨床帶教工作；把低于25%分位數(shù)(6.13)的定義為低質(zhì)量的臨床帶教工作；而6.13～6.82表示中等程度的臨床帶教工作?；谠摌?biāo)準(zhǔn)，老師據(jù)此可以判斷自己的臨床帶教工作質(zhì)量，從而有針對(duì)性地改進(jìn)教學(xué)工作。

(2)不同類型老師的臨床帶教特點(diǎn)

詞條頻數(shù)分析顯示學(xué)生對(duì)三類老師的共同評(píng)價(jià)是“認(rèn)真、負(fù)責(zé)、豐富”。具體來說，住院醫(yī)生的教學(xué)是“認(rèn)真、負(fù)責(zé)、耐心”，主治醫(yī)生是“認(rèn)真、清晰、負(fù)責(zé)”，而查房教授是“清晰、認(rèn)真、嚴(yán)格”。圖1來看，住院醫(yī)生和主治醫(yī)生之間的教學(xué)評(píng)價(jià)指標(biāo)差異沒有統(tǒng)計(jì)學(xué)意義(P>0.05)，他們?cè)凇敖處燂L(fēng)范”上得到的評(píng)論占比明顯高于查房教授(P<0.05)。表2也顯示不同類型老師的綜合得分存在差異。主治醫(yī)生的綜合得分最高，住院醫(yī)生其次，查房教授相對(duì)最低。

以上差異與不同類型老師在教學(xué)中發(fā)揮的作用相關(guān)。主治醫(yī)生是醫(yī)療決策者，在教學(xué)工作中也是核心，最容易得到學(xué)生的較高評(píng)價(jià)。查房教授學(xué)術(shù)水平很高，偏向于解決醫(yī)療疑難問題，教學(xué)時(shí)間和內(nèi)容相對(duì)較少，得分相對(duì)低。住院醫(yī)生與學(xué)生朝夕相處，手把手帶教，但住院醫(yī)生自身還在培訓(xùn)學(xué)習(xí)過程中，素質(zhì)差別相對(duì)較大。

*：由于很多學(xué)生評(píng)價(jià)了老師兩個(gè)或三個(gè)方面的教學(xué)特點(diǎn)，因此圖中的比例之和超過100%。

圖1 不同類型老師得到的教學(xué)評(píng)價(jià)比例

討 論

在教學(xué)醫(yī)院中，教學(xué)的指向應(yīng)該是培養(yǎng)一種“文化”、責(zé)任和榮耀，而不是臨床工作以外的任務(wù)。這需要一定的評(píng)價(jià)指標(biāo)來評(píng)估指導(dǎo)老師的教學(xué)，而不是全憑老師個(gè)人素質(zhì)和自我要求[2]。學(xué)生評(píng)教是老師評(píng)價(jià)的一個(gè)方面，也是獲得教學(xué)反饋的重要方式。目前通行的評(píng)分反饋過于簡(jiǎn)單、流于形式得不到有益信息[3]。而簡(jiǎn)單的看一個(gè)分?jǐn)?shù)結(jié)果，評(píng)教也就失去了應(yīng)有的意義[4]。相對(duì)而言，開放性回答的問卷更能體現(xiàn)學(xué)生對(duì)老師教學(xué)指導(dǎo)的認(rèn)可態(tài)度，老師也可以從中獲得許多有益的信息，提高后續(xù)的臨床帶教質(zhì)量。但是評(píng)論性反饋信息量大，不利于匯總分析。為了克服這些困難，我們采用文本挖掘方法對(duì)主觀描述性反饋評(píng)價(jià)科學(xué)分析，得出了一系列有意義的結(jié)論。首先，我們對(duì)開放性評(píng)論進(jìn)行分詞，建立了一個(gè)教學(xué)評(píng)價(jià)的詞庫；其次，構(gòu)建教學(xué)評(píng)價(jià)指標(biāo)體系，形成臨床教學(xué)綜合評(píng)價(jià)系統(tǒng)；第三，挖掘不同類型老師的教學(xué)指導(dǎo)風(fēng)格與特點(diǎn)，不僅有助于老師教學(xué)特色的形成，也有助于學(xué)生更好地適應(yīng)老師的教學(xué)特點(diǎn)。本研究通過統(tǒng)計(jì)軟件R進(jìn)行運(yùn)算，速度快，可以處理幾千至數(shù)十萬份問卷?？梢詾槔蠋熕皆u(píng)定、人員管理等方面提供數(shù)據(jù)支持。當(dāng)然，本研究還需深入探討建立適合臨床帶教工作的評(píng)價(jià)詞條庫，更加精確地分類評(píng)分；添加詞語關(guān)聯(lián)規(guī)則，擴(kuò)大自動(dòng)化評(píng)分的范圍?？傮w而言，本研究基本實(shí)現(xiàn)了預(yù)期目標(biāo)，可以逐步在實(shí)踐中應(yīng)用。

[1]王旭.醫(yī)學(xué)類院校教學(xué)評(píng)價(jià)體系構(gòu)建研究-以河南H學(xué)院為例.中國(guó)衛(wèi)生標(biāo)準(zhǔn)管理,2014，(17):70-72.

[2]王偉,郭玉婷,張瀾,等.高等醫(yī)學(xué)院校教師教學(xué)效能結(jié)構(gòu)維度的研究.中國(guó)衛(wèi)生統(tǒng)計(jì),2004,21(3):183-184.

[3]林萍,管遠(yuǎn)志.醫(yī)學(xué)院校教師教學(xué)評(píng)價(jià)的現(xiàn)狀與展望.首都醫(yī)科大學(xué)學(xué)報(bào):社科版,2008(00).

[4]殷小寒,羅志勇,尹竹萍,等.臨床醫(yī)學(xué)實(shí)踐教學(xué)質(zhì)量評(píng)價(jià)分析.昆明醫(yī)科大學(xué)學(xué)報(bào),2012,33(1):146-149.

(責(zé)任編輯：劉 壯)

1.中國(guó)醫(yī)學(xué)科學(xué)院北京協(xié)和醫(yī)學(xué)院北京協(xié)和醫(yī)院(100730)

2.北京航空航天大學(xué)數(shù)學(xué)與系統(tǒng)科學(xué)學(xué)院，“數(shù)學(xué)、信息與行為”教育部重點(diǎn)實(shí)驗(yàn)室

△通信作者:李航，E-mail:lihang9@hotmail.com