Recognition of group activities for understanding intraoperative state of surgical team

合理評(píng)估手術(shù)團(tuán)隊(duì)的術(shù)中狀態(tài),對(duì)于提升團(tuán)隊(duì)協(xié)作和確保手術(shù)環(huán)境安全至關(guān)重要。傳統(tǒng)評(píng)估方法通常是由人來執(zhí)行,如對(duì)每個(gè)手術(shù)團(tuán)隊(duì)成員進(jìn)行采訪、發(fā)放自查問卷,而這樣做既耗時(shí)間,又可能產(chǎn)生回憶偏差。一種有效的解決方案是通過分析手術(shù)視頻來追蹤手術(shù)團(tuán)隊(duì)的重要活動(dòng),例如成員是否遵循手術(shù)規(guī)程,或者因意外事件而分心。但是,由于手術(shù)科室情況復(fù)雜,在不付出任何人力的情況下識(shí)別團(tuán)隊(duì)活動(dòng)仍然具有挑戰(zhàn)性。一篇文章(Advanced Biomedical Engineering,DOI:10.14326/abe.11.37)介紹了一種人工智能識(shí)別系統(tǒng),能從手術(shù)視頻中自動(dòng)識(shí)別、分析手術(shù)團(tuán)隊(duì)的術(shù)中活動(dòng),以了解術(shù)中團(tuán)隊(duì)的狀態(tài)。研究團(tuán)隊(duì)重點(diǎn)關(guān)注了兩類術(shù)中需要多人參與的活動(dòng):無菌包裝器械的傳遞(如在巡回護(hù)士和洗手護(hù)士之間的傳遞),以及可能導(dǎo)致團(tuán)隊(duì)注意力轉(zhuǎn)移的意外事件。該系統(tǒng)使用支持向量機(jī)(support vector machine,SVM)作為識(shí)別模型,主要包含以下步驟:①姿勢(shì)判斷:輸入手術(shù)視頻,利用深度學(xué)習(xí)的人體姿態(tài)評(píng)估技術(shù)和粒子濾波器對(duì)視頻中手術(shù)團(tuán)隊(duì)成員的姿勢(shì)進(jìn)行判斷;②成員動(dòng)作追蹤:為每名成員創(chuàng)建個(gè)人身份標(biāo)識(shí)號(hào),通過分析人體朝向、面部朝向、手臂動(dòng)作來追蹤各成員動(dòng)作;③團(tuán)隊(duì)行為識(shí)別:基于提取出的個(gè)人動(dòng)作數(shù)據(jù),識(shí)別手術(shù)器械傳遞、注意力轉(zhuǎn)移等團(tuán)隊(duì)行為;④可視化界面顯示:在手術(shù)視頻右側(cè)界面展示2D 模型,按照時(shí)間軸對(duì)團(tuán)隊(duì)活動(dòng)進(jìn)行可視化。研究還使用了模擬手術(shù)場(chǎng)景的視頻來測(cè)試此系統(tǒng),結(jié)果顯示,該系統(tǒng)能夠有效識(shí)別器械傳遞動(dòng)作和團(tuán)隊(duì)注意力轉(zhuǎn)移事件。這項(xiàng)研究提供了機(jī)器識(shí)別術(shù)中關(guān)鍵動(dòng)作的技術(shù),有可能改變手術(shù)視頻的使用方式,幫助手術(shù)團(tuán)隊(duì)更有效地獲取有價(jià)值的信息,為探索術(shù)中團(tuán)隊(duì)合作的定量評(píng)估提供了可能性。