基于人工智能的數(shù)字X線機自助檢查系統(tǒng)的設(shè)計

楊 欣,陳 碧,王 輝,羅 江,曾 軒,朱昱昊,陳麗惠,池顯辰

(徐州醫(yī)科大學 醫(yī)學影像學院，江蘇 徐州 221000)

0 引言

擺位作為影像攝片中的核心環(huán)節(jié)，一直以來都是醫(yī)學生學習的重難點，而擺位不當也一直是影響醫(yī)生診斷、導致誤診漏診的罪魁禍首[1]。近年來，影像科醫(yī)學生成長速度慢、臨床影像科醫(yī)生水平良莠不齊、臨床診斷對影像攝片的依賴性增高等問題逐漸凸顯，擺位不當、醫(yī)療資源緊張和影像科技術(shù)人員壓力大成為傳統(tǒng)擺位的三大弊端。因此，研究出一款能實現(xiàn)輔助受檢者擺位、提高攝影準確性、縮短攝影時間這三大功能的產(chǎn)品具有十分重要的現(xiàn)實意義。

近年來，新冠肺炎疫情在世界范圍內(nèi)蔓延，發(fā)現(xiàn)并控制疫情傳染源至關(guān)重要，尤其是出現(xiàn)無癥狀感染者時，利用數(shù)字X線機精準篩查可疑人員就成為醫(yī)院排查的一項重要措施，但由于部分地區(qū)防疫物資的不足，醫(yī)護人員的保護不盡人意。2019年底全球大規(guī)模爆發(fā)的新型冠狀病毒肺炎(NCP)和2003年的非典型肺炎(SARS)，對人類生命和健康產(chǎn)生了重大的威脅，醫(yī)護人員也付出了沉重的代價[2]。此外，臨床上擺位不當還是影響X線攝片質(zhì)量、造成非甲級片出現(xiàn)的主要原因[3]，非甲級片往往會干擾影像醫(yī)師做出準確判斷，有時甚至會誤導醫(yī)師，造成耽誤患者病情延誤治療時間的嚴重后果。另一方面，據(jù)不完全統(tǒng)計，影像技師每天的工作量平均60～80份磁共振或者120～150個超聲檢查[4]。由于數(shù)字X線機在醫(yī)院臨床任務(wù)重，同時又具有射線輻射，不適合用于醫(yī)學生實踐教學。由此造成相關(guān)醫(yī)學專業(yè)實踐教學效果并不理想，醫(yī)學生動手機會少，動手能力差，特別是在鄉(xiāng)鎮(zhèn)醫(yī)院里低年資醫(yī)師實際操作的機會較少，?？漆t(yī)師培養(yǎng)周期較長[5]。據(jù)悉，每年國內(nèi)放射科醫(yī)療工作量增速達18.8%，而放射科醫(yī)生增速為4.1%，兩者增長速率相差甚遠，醫(yī)療資源相對不足間接激化醫(yī)患矛盾[6]。

基于人工智能的醫(yī)用數(shù)字X線機自助檢查系統(tǒng)就是針對上述需求，把人工智能應(yīng)用于在數(shù)字X線機檢查中，開發(fā)了體位識別裝置、體位判斷裝置和語音提示糾正裝置，對受檢者實現(xiàn)體位自動識別，自主糾錯，自我調(diào)整。而影像科工作人員只需在監(jiān)視系統(tǒng)下按下曝光按鈕便可完成檢查，真正達到了方便、安全、高效的目的。

隨著我國積極推進醫(yī)療現(xiàn)代化的發(fā)展，目前醫(yī)用數(shù)字X線機的發(fā)展日趨完善，而人工智能與影像結(jié)合正在成為醫(yī)療檢測和診斷領(lǐng)域的新趨勢。AI技術(shù)在醫(yī)療領(lǐng)域的布局與應(yīng)用一直受到國內(nèi)外科技巨頭的高度重視，其中“醫(yī)學影像+AI”是未來人工智能醫(yī)學發(fā)展中最被看好部分，也是最有可能率先實現(xiàn)商業(yè)化的領(lǐng)域[7]。人工智能診斷在臨床上已有經(jīng)開始了大面積應(yīng)用，人工智能輔助擺位將成為下一個熱點。美國的五大頂尖醫(yī)院如梅奧、克里夫蘭等都開始與人工智能公司合作，希望人工智能為醫(yī)學影像技術(shù)助力，成為人工智能醫(yī)療應(yīng)用領(lǐng)域的領(lǐng)跑者，實現(xiàn)疾病檢查、診斷、治療和管理的智能化。相比于美國等發(fā)達國家，國內(nèi)企業(yè)在醫(yī)學AI發(fā)展上緊跟時代步伐。北京航空航天大學生物醫(yī)學工程的高精尖創(chuàng)新中心在熒光分子斷層成像方面應(yīng)用了AI技術(shù)，研究了一種基于深度學習技術(shù)的可以高精度、超快速成像的方法[8]。深度學習技術(shù)在輔助診斷方面同樣可以發(fā)揮重要作用。利用大數(shù)據(jù)與人工智能的相關(guān)技術(shù)來輔助放射科醫(yī)生進行醫(yī)學圖像識別，不僅能提高醫(yī)學影像數(shù)據(jù)識別的準確率，還能減輕放射科醫(yī)生的工作壓力，以達到疾病早發(fā)現(xiàn)、早治療的目的[9]。隨著信息技術(shù)和知識經(jīng)濟的快速發(fā)展，人工智能的成果已經(jīng)得到越來越多的應(yīng)用?？梢灶A見，在不久的將來人工智能的發(fā)展和普及必將勢不可擋，未來人工智能將會成為醫(yī)務(wù)工作者的絕佳助手。這些智能化發(fā)展也為人類的就醫(yī)方式帶來了巨大的轉(zhuǎn)變，同樣，病情診斷和疾病治療的高效與準確也給人們的生活健康帶來前所未有安全感[10]。

1 “自助檢查”系統(tǒng)的結(jié)構(gòu)及原理

1.1 “自助檢查”系統(tǒng)的結(jié)構(gòu)

“自助檢查”系統(tǒng)由圖像采集裝置、體位識別裝置、體位判斷裝置和語音提示糾正裝置4個部分組成。整套系統(tǒng)可以快速準確輔助受檢者“自助檢查”，減輕影像科工作壓力。“自助檢查”系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1 “自助檢查”系統(tǒng)結(jié)構(gòu)圖

1.2 “自助檢查”系統(tǒng)的原理

該系統(tǒng)采用軟硬件結(jié)合技術(shù)，首先利用攝像頭對受檢者進行圖像采集，接著利用基于堆疊沙漏模型的體位識別系統(tǒng)檢測受檢者姿態(tài)關(guān)鍵點，然后通過體位判斷裝置，將大數(shù)據(jù)中的正確體位與受檢者體位對比，通過語音提示裝置提示影像技術(shù)人員可以攝片或者提示受檢者糾正體位。

2 基于人工智能的數(shù)字X線機“自助檢查”系統(tǒng)的設(shè)計與實現(xiàn)

2.1 “自助檢查”系統(tǒng)的設(shè)計

“自助檢查”系統(tǒng)設(shè)計主要有一下幾個步驟：1)圖像采集：首先令受檢者在診斷床上或熒光板前就位，用PC端攝像頭對受檢者體位進行拍攝采集，最后將得到的圖像命名并存儲到特定文件夾。2)體位識別：提取采集到的圖像，利用添加了可變形卷積和注意力機制的堆疊沙漏模型檢測受檢者頭、頸、胸、腹及四肢等大約20個姿態(tài)特征點并反饋坐標信息。3)體位判斷：提取受檢者姿態(tài)關(guān)鍵點及坐標信息后，對比標準體位數(shù)據(jù)庫里的姿態(tài)關(guān)鍵點信息，在95%的容錯率下，判斷受檢者體位是否標準。4)語音提示糾正裝置將體位判斷的結(jié)果通過播放器播放，從而對患者的不當體位進行實時糾錯或者提示影像技師可以攝片。

2.1.1 圖像采集

采用一個正對診斷床或熒光板的PC端攝像頭對受檢者體位進行拍攝采集，利用OpenCV得到照片的灰度圖，以及再對灰度圖進行二值化處理和腐蝕處理，最后將得到的圖像命名并存儲到特定文件夾。

2.1.2 體位識別

人工智能體位識別系統(tǒng)采用添加了可變形卷積和自注意力機制的堆疊沙漏網(wǎng)絡(luò)(Stacked Hourglass Networks)，通過提取采集到的圖像，精確檢測受檢者頭、頸、胸、腹及四肢等大約20個X線攝片姿態(tài)特征點并反饋坐標信息。

1)堆疊沙漏網(wǎng)絡(luò)：

堆疊沙漏模型的目標是在推理階段就盡量在所有尺寸的特征圖上捕獲信息。首先通過若干個池化層和卷積層執(zhí)行下采樣程序，并通過反卷積進行上采樣處理。然后將這兩個過程中尺寸相同的特征圖相加，正如ResNet中所做的相加一樣，重復這種“先下后上”的處理來建立“堆疊沙漏”網(wǎng)絡(luò)，并且在每個“沙漏”后進行中間監(jiān)督訓練。

傳統(tǒng)的堆疊沙漏網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，其中的每個沙漏形狀的結(jié)構(gòu)即代表一個沙漏模塊(Hourglass Network)，多個這種結(jié)構(gòu)堆疊起來，稱作堆疊沙漏(Stacked Hourglass)[11]。單個沙漏模塊的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，其中每一個方塊即代表了一個殘差模塊，方塊的大小代表著輸入特征圖的尺寸，殘差模塊網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。沙漏模塊的特點是具有對稱的拓撲結(jié)構(gòu)，其體現(xiàn)在下采樣使用卷積處理，而上采樣使用反卷積處理[12-13]。首先是下采樣過程中進行若干次卷積和最大值池化操作得到最小尺寸的特征圖。在每次最大值池化操作后網(wǎng)絡(luò)會產(chǎn)生一個包含著若干卷積的分支，用于下一階段的特征圖融合。此分支的輸入是最大值池化操作之前的特征圖[14]。得到最小尺寸圖之后，網(wǎng)絡(luò)開始進行上采樣和特征融合過程。上采樣使用反卷積操作，將上采樣后的特征圖與網(wǎng)絡(luò)分支上同尺寸的特征圖進行元素級的相加，即可得到融合的特征圖。殘差模塊使得1×1和3×3步長為1的卷積層不改變輸入特征圖的尺寸[14]。圖4表示輸出卷積核大小和特征緯度，其中跳層連接用虛線表示。中間監(jiān)督(intermediate supervision)過程如圖5所示，虛線代表跳層連接，沙漏圖形代表了一個沙漏模塊[14]，右側(cè)深色的方塊代表著生成的HeatMap，訓練階段，將這些HeatMap和真實HeatMap計算損失MSE，并求和，得到損失；推斷階段，使用的是最后一個Hourglass的HeatMap[11]。

圖2 堆疊沙漏網(wǎng)絡(luò)模型

圖3 單個沙漏模塊

圖4 殘差結(jié)構(gòu)

圖5 中間監(jiān)督模塊

2)可變形卷積：

可變形卷積(deformable convolution)是指在常規(guī)的網(wǎng)格狀空間采樣中加入2D偏移(offset)，即在標準卷積的基礎(chǔ)上給每個卷積核的參數(shù)添加一個方向向量，使的我們的卷積核可以變?yōu)槿我庑螤?，從而使采樣點分布到我們感興趣的區(qū)域，更好地提取輸入的特征，達到增強CNNs對于變形目標的建模能力[15]。

2D卷積包含兩個步驟，首先用常規(guī)的gridR在輸入特征圖上x進行采樣，接著將這些采樣結(jié)果以權(quán)重w進行歸并。gridR定義了空洞率和感受野的大小，如R={(—1，-1),(—1,0),..., (0,1),(1,1)}就定義了一個空洞率為1、感受野尺寸為3×3的核[16]。

在標準卷積中pn是R中有限個位置的枚舉，對于輸出特征圖y中的每一個位置的p0都有：

在可變形卷積中，常規(guī)網(wǎng)格R經(jīng)過了偏移{δpn=n=1,…,N}，其中N= |R|后，對于輸出特征圖y中的每一個位置的p0都有：

(2)

因此采樣就在不規(guī)則且有偏移的位置pn+δpn上進行，由于存在偏差δpn，故可以通過雙線性差值實現(xiàn)，其中p表示任意的位置(公式(2)中p=p0+pn+δpn)，q是從特征圖x中選擇出的：

(3)

因為G(·,·)是二維的雙線性插值的核函數(shù)，故可以分成兩個核，其中g(shù)(qx,px)=max(0，1-|qx-px|)，g(qy,py)=max(0，1-|qy-py|)：

G(q,p)=g(qx,px)·g(qy,py)

(4)

如圖6所示，首先輸入圖像，利用標準卷積核提取特征圖，接著把得到的特征圖作為輸入，對特征圖再施加一個卷積層，從而得到可變形卷積的偏差，輸出的偏差域和輸入特征圖的尺寸相同，通道維度的2 N對應(yīng)N的二維偏移，同時對生成偏移和輸出特征的卷積核進行訓練，從而實現(xiàn)更準確的姿態(tài)估計[16]。

圖6 可變形卷積

3)自注意力機制：

自注意力機制(self-attention mechanism)與人類觀察外界事物機制很類似，當人類觀察外界事物的時候，往往傾向于根據(jù)需要選擇性地去捕捉被觀察事物的某些重要部分，例如當看到圖7的大量水果時，人類往往能夠迅速找出某種特定的水果，這正是因為人類可以選擇性地捕捉信息，并對信息進行篩選[17]。同理，自注意力機制可以對輸入特征的不同部分賦予不同的權(quán)重，從關(guān)鍵區(qū)域中捕捉更重要的信息，從而減少了模型計算與儲存的開銷，同時使識別結(jié)果更為準確[18]。

圖7 水果堆

圖8 自注意力機制原理

2.1.3 體位判斷

體位判斷裝置在PC端提取受檢者姿態(tài)關(guān)鍵點及坐標信息后，調(diào)用標準體位數(shù)據(jù)庫里的姿態(tài)關(guān)鍵點信息，并將二者進行對比，在95%的容錯率下，判斷受檢者體位是否標準以及誤差糾正。其中標準體位數(shù)據(jù)庫是以MPII和LSP數(shù)據(jù)集為基礎(chǔ)，與多家醫(yī)院影像科達成合作、在專家的指導下自主研發(fā)。針對關(guān)鍵點信息的對比，本裝置利用動作相關(guān)關(guān)系模型、關(guān)鍵點相對位置模型[20]以及余弦角度模型進行錯誤姿勢判斷，整體算法基于改進后的堆疊沙漏模型，可以對照片中受檢者姿態(tài)進行正誤判斷以及誤差糾正。若姿態(tài)正確，則輸出“CORRECT”，若不正確，則輸出“ERROR”，并根據(jù)上述3個模型的判斷結(jié)果，對錯誤姿勢的糾正進行簡單說明。

2.1.4 語音提示糾正裝置

語音提示糾正裝置將體位判斷的結(jié)果通過播放器播放，從而在正式攝片前對患者的不當體位進行糾錯或者提示影像技術(shù)人員可以攝片。

具體過程如下：首先把語音文案轉(zhuǎn)成MP3格式語音文件，接著把語音文件提供給芯片方，定制語音；將焊接到單片機上，然后根據(jù)芯片規(guī)格書寫控制時序程序，每條語音都對應(yīng)了一個地址；最后將地址數(shù)據(jù)寫入芯片，即可自動播放指定語音。

3 實驗結(jié)果與分析

3.1 實驗步驟

首先征集20名志愿者作為受檢者。令受檢者在診斷床上或熒光板前就位，擺出攝片體位，接著由圖像采集系統(tǒng)采集并儲存圖像，用堆疊沙漏模型采集受檢者姿態(tài)關(guān)鍵點，同時有可變形卷積優(yōu)化關(guān)鍵點識別效果、注意力機制較少模型計算與儲存的開銷，然后用體位判斷裝置將受檢者姿態(tài)關(guān)鍵點與標準體位數(shù)據(jù)庫中姿態(tài)關(guān)鍵點進行對比，判斷受檢者體位是否標準以及誤差糾正，若受檢者體位不當，則通過語音提示裝置對受檢者進行糾錯指導；若受檢者體位正確，則提示影像技術(shù)人員可以攝片。圖9是自助檢查系統(tǒng)流程圖。

圖9 “自助檢查”系統(tǒng)流程圖

系統(tǒng)測試實驗結(jié)果主要包括兩部分，一部分是對甲級片出片率、攝片時間和院內(nèi)感染3個指標定量的測試，另一部分是對診斷錯誤率、受檢者和醫(yī)生滿意度3個指標近似定性的測試。前三者的結(jié)果通過比較使用“自助檢查”系統(tǒng)前后的醫(yī)療數(shù)據(jù)得出，后三者的結(jié)果通過對醫(yī)生及受檢者進行問卷的形式得出。

3.2 實驗結(jié)果

根據(jù)實際情況，該系統(tǒng)只對部分實驗數(shù)據(jù)結(jié)果進行了展示。圖10展示了在應(yīng)用數(shù)字X線機自助檢查系統(tǒng)后，某三甲醫(yī)院影像科在診斷錯誤率、甲級片出片和攝片時間等6項指標上的變化以及變化的幅度。

圖10 實驗結(jié)果

3.3 結(jié)果分析

實驗結(jié)果表明，該系統(tǒng)在診斷錯誤率、攝片時間、院內(nèi)感染的發(fā)生方面較未使用“自助檢查”系統(tǒng)時均有減少；甲級片出片率、受檢者及醫(yī)生滿意度均有提升。攝片時間縮短了50%左右，將甲級片出片率從不足40%提升到將近80%，進而將誤診率減少了至少30%，同時能夠有效地減少醫(yī)患接觸，減低了院內(nèi)感染的風險，系統(tǒng)實現(xiàn)了縮短攝片時間、提高攝影質(zhì)量、降低院內(nèi)感染以及提高醫(yī)生和受檢者滿意度的目標。

4 結(jié)束語

傳統(tǒng)攝片帶來的一系列問題隨著人們需求的不斷增長而日益顯現(xiàn)，擺位不當、醫(yī)療資源緊張和影像科技術(shù)人員壓力大是目前亟待解決的問題?；谌斯ぶ悄艿臄?shù)字X線機體位識別系統(tǒng)，利用自主研發(fā)的人工智能體位識別裝置、體位輪廓投射控件和貼心的語音提示功能，幫助受檢者自助檢查，縮短攝片時間，同時提高攝片精確度，減少誤診漏診，還能避免院內(nèi)感染，保護一線醫(yī)務(wù)人員。醫(yī)療設(shè)備的更新?lián)Q代，可以挽救人們的生命；而醫(yī)療模式的智慧化、升級化，則可以改變?nèi)藗兊纳睢?/p>