體檢報告數(shù)字化智能分析

李慧敏，張宏杰，劉復(fù)昌

(1.浙江省立同德醫(yī)院 檢驗科，浙江 杭州 310012；2.杭州圖檢智能科技有限公司，浙江 杭州 311100；3.杭州師范大學(xué) 信息科學(xué)與技術(shù)學(xué)院，浙江 杭州 311121)

隨著生活水平的不斷提高和人們健康意識的不斷增強，越來越多的人開始進行健康體檢。健康體檢是了解身體狀況、預(yù)防疾病的一種有效方法。但體檢報告中包含大量醫(yī)學(xué)詞匯和指標數(shù)據(jù)，非醫(yī)學(xué)人員無法全面直觀地了解報告中包含的信息，也無法快速得知體檢結(jié)果與歷年體檢結(jié)果的差異和快速獲取專業(yè)的醫(yī)療建議，導(dǎo)致不能全面發(fā)揮健康體檢的價值。據(jù)統(tǒng)計，2018年以來我國大城市工薪階層中大概超過70%的人身體處于亞健康狀態(tài)[1]。同時，我國也面臨著醫(yī)療資源分配不均等現(xiàn)狀[2]。

人工智能(artificial intelligence，AI)技術(shù)提供數(shù)據(jù)分析技術(shù)指標，具有彌補醫(yī)療資源短缺、協(xié)助醫(yī)生診斷等優(yōu)勢[3]，AI技術(shù)輔助醫(yī)療已是大勢所趨。為更好地發(fā)揮健康體檢的作用和更好地改善人們的健康，將健康體檢與人工智能相結(jié)合，設(shè)計一款基于深度學(xué)習(xí)方法的體檢報告智能交互系統(tǒng)，幫助體檢者更便捷直觀地了解體檢結(jié)果、快速獲取專業(yè)的健康指導(dǎo)建議，即通過對人們的亞健康進行干預(yù)從而達到改善人們健康目的的體檢報告數(shù)字化智能分析系統(tǒng)，是當前比較有價值的一項研究和應(yīng)用。

1 方法

1.1 體檢報告文本分割 U-Net(U型網(wǎng)絡(luò))以其優(yōu)秀的分割效果常用于醫(yī)療影像圖像分割[4-6]。本系統(tǒng)借助U-Net網(wǎng)絡(luò)進行體檢報告文字分割。本研究的數(shù)據(jù)集是從醫(yī)院獲取的1 000份體檢報告，通過從掃描的圖片中選擇1 500張包含要識別重要文字的圖片作為訓(xùn)練數(shù)據(jù)集，使用Labelme軟件標記mask的形式對每行文字進行標記用于后續(xù)模型訓(xùn)練。由于圖像分割是像素級操作，特別是文本區(qū)域分割，在文本間距較近的情況下容易出現(xiàn)錯誤。Yu等[7]提出一種新的卷積方式——空洞卷積[8]，空洞卷積主要作用是減小模型計算量提高網(wǎng)絡(luò)的性能。本文改進的U-Net 網(wǎng)絡(luò)將第一層中最后一個卷積操作替換成空洞值為1的空洞卷積。

1.2 體檢報告文本識別

1.2.1 生成訓(xùn)練數(shù)據(jù)集(train datasets，TD) (1)語料庫獲取。體檢報告文本具有豐富的語義信息，且含有大量專業(yè)的醫(yī)學(xué)詞匯，無法通過隨機組合漢字的方式生成。所以通過目前合作者提供的1 500份體檢報告數(shù)據(jù)，對數(shù)據(jù)進行清洗整理，剔除無用重復(fù)信息，組成需要的語料庫共計119萬字符。(2)選取特定長度字符。語料庫中句子長度不一，生成訓(xùn)練集時需要對每句進行分割合并，得到固定長度文本，每張圖像固定為10個字符。(3)選擇字體和字號。由于受到用戶手機鏡頭到報告的距離的影響，字號一般在18～24間變化。針對漢字和英文字符字體選擇等線字體。(4)添加噪聲與模糊處理。在用手機拍照生成圖像的時候，通過隨機添加噪聲和模糊濾波，來模擬用戶真實的拍照效果。生成得到30萬張體檢報告訓(xùn)練數(shù)據(jù)集。

1.2.2 制作測試數(shù)據(jù)集(test datasets，TS) 首先將體檢報告用A4紙打印，然后使用手機拍攝30張體檢報告圖像，通過手工裁剪出含有體檢報告文本的區(qū)域300 張圖片，總計3 752個字符，作為測試例，稱為TS。本研究采用動態(tài)時間調(diào)整(dynamic time warping，DTW)的方法計算字符提取準確率。假設(shè)識別一張包含體檢報告文字的圖片，它的標簽為Q=“請注意口腔衛(wèi)生”，而識別結(jié)果為C=“請注意口空衛(wèi)”，虛線表示經(jīng)過的路徑，矩陣中的數(shù)字則為到達該點累計的距離。圖片準確率為(7-3)/7=57.1%。對比百度光學(xué)字符識別(optical character recognition，OCR)、Tesseract以及兩層、三層、四層LSTM的CRNN網(wǎng)絡(luò)結(jié)果，如表1所示。體檢報告文本比較簡單，故而各個模型得到的準確率都較高。通過實驗得知，我們的方法(三層LSTM的CRNN)文字識別網(wǎng)絡(luò)具有較高的準確率和效率。

表1 模型識別指標對比

1.3 體檢報告智能交互系統(tǒng) 基于前面方法構(gòu)建基于深度學(xué)習(xí)體檢報告智能交互系統(tǒng)，結(jié)合Jieba技術(shù)[9]對識別到的文本進行分詞和關(guān)鍵詞匹配，再在APP界面上進行展示與交互。點擊APP終端詞云可以獲取專業(yè)的健康建議。系統(tǒng)記錄體檢報告圖片，形成一個長期基于用戶體檢報告的健康建議報告，讓體檢者能夠?qū)ψ陨淼慕】涤幸粋€長期的監(jiān)控。該APP的系統(tǒng)流程如圖1所示。

圖1 APP系統(tǒng)流程圖

系統(tǒng)實現(xiàn)。APP采用聯(lián)合應(yīng)用(unite-application，Uni-app)框架，Vue是一個跨平臺的前端應(yīng)用框架，開發(fā)者只需一次開發(fā)，便能得到發(fā)布到蘋果手機操作系統(tǒng)(input output system, IOS)、Android等平臺的軟件。所以前端采用Vue+Uni-app+Echarts實現(xiàn)，Echarts主要用來顯示體檢報告關(guān)鍵詞提取結(jié)果以及完成交互效果。服務(wù)器端采用Springboot框架，數(shù)據(jù)庫使用結(jié)構(gòu)化數(shù)據(jù)庫語言(structure quest language，MySQL)。體檢者上傳圖片到服務(wù)器，服務(wù)器完成關(guān)鍵詞提取并存入數(shù)據(jù)庫中供歷史查詢，同時傳給前端進行詞云展示。

體檢報告關(guān)鍵詞提取分兩步驟：文本分詞與詞匹配。文本分詞，指將字符串按照特定的規(guī)則分割成詞的集合。中文分詞詞語之間沒有英文那樣的分隔符，且非常復(fù)雜，需要消除歧義，識別未登錄詞。本文使用開源Jieba分詞工具進行分詞。醫(yī)學(xué)名詞專業(yè)性強，往往是由多個簡單詞組成的組合詞，比如左側(cè)腦供血不足，此類詞語歸類于未登錄詞。Jieba對于未登錄詞采用了隱馬爾可夫模型[10](hidden Markov models，HMM)，模型使用了Viterbi[11]算法。Jieba分詞模式分為全模式、精確模式和搜索引擎模式三種。全模式盡可能地把所有詞都切分出來；精確模式試圖進行準確地切分詞；搜索引擎模式在精確模式基礎(chǔ)上對較長的詞語進一步切割。Jieba分詞還支持自定義詞典，需要新建基于前綴詞典dict.txt，在切分句子時把不能切分的詞語進行保留，該詞典中的詞語便是未登錄詞。在本系統(tǒng)中，由專業(yè)的醫(yī)生總結(jié)歸納了163個醫(yī)學(xué)詞匯記錄在前綴詞典 dict.txt 中，在分詞的時候保證不被切分。

1.4 關(guān)鍵詞健康數(shù)據(jù)庫建立 針對體檢報告上關(guān)鍵詞的專業(yè)性建議以及對應(yīng)的癥狀和描述，主要來自于對第九版內(nèi)科學(xué)、外科學(xué)、診斷學(xué)等人衛(wèi)版醫(yī)學(xué)教材與網(wǎng)絡(luò)公開醫(yī)療資源的整理，已獲得100個關(guān)鍵詞的醫(yī)療建議，大致涵蓋了體檢常見疾病。

2 系統(tǒng)效果

2.1 登錄界面 登錄界面包括用戶名、密碼兩個輸入框。登錄界面如圖2所示。

圖2 登錄界面

2.2 交互界面

2.2.1 關(guān)鍵詞展示 體檢者將體檢報告圖片上傳到服務(wù)器，經(jīng)一系列算法處理后可得到關(guān)鍵詞。前端可視化將關(guān)鍵詞展示到交互界面上。交互界面如圖3所示，點擊“心律失?！标P(guān)鍵詞，APP會使用灰底白字將針對的專業(yè)建議顯示出來。

圖3 交互界面

2.2.2 歷史體檢報告查詢 歷史查詢界面可以查詢體檢者過往的所有體檢報告關(guān)鍵詞提取記錄。圖4展示了從數(shù)據(jù)庫中檢索某一體檢者多年提交報告提取關(guān)鍵詞的結(jié)果，并用折線圖的形式展示多次體檢之間的差異，給予體檢者近年來身體狀態(tài)最直觀的動態(tài)變化。同時，點擊相應(yīng)的點可以獲取對于上一次體檢報告新增的關(guān)鍵詞，圖4中可見，該體檢者在2019年12月體檢新增“肥胖”關(guān)鍵詞，系統(tǒng)會提示該體檢者需要注意合理飲食、減少攝入高糖高脂類食物、加強體育鍛煉等。

圖4 個人體檢報告關(guān)鍵詞歷史變化趨勢

2.2.3 醫(yī)療建議 系統(tǒng)測試了200份體檢報告，包含1 268個關(guān)鍵詞，系統(tǒng)提取到了1 192個，關(guān)鍵詞提取準確率為94%，準確度高，交互系統(tǒng)結(jié)果可靠。體檢報告的關(guān)鍵詞詞云效果如圖5所示，常見關(guān)鍵詞有“肥胖、結(jié)節(jié)、血脂高”等，點擊每個關(guān)鍵詞，智能交互系統(tǒng)會給出相應(yīng)的專業(yè)醫(yī)療建議。下面是系統(tǒng)對體檢常見的三個疾病給出的醫(yī)療建議的文字描述細節(jié)。

圖5 界面識別關(guān)鍵詞顯示效果

“血糖升高”：在排除應(yīng)激、藥物影響等短暫血糖波動的情況下，當血糖大于7.0 mmol/L時，請及時到醫(yī)院內(nèi)分泌科就醫(yī)；當空腹血糖為6.1～7.0 mmol/L時，建議使用粗糧和蔬菜替代高糖、高脂類食物，加強體育鍛煉，肥胖者必須減重、戒煙戒酒、定期隨訪復(fù)查血糖，若血糖沒有改善請及時到醫(yī)院內(nèi)分泌科就診。

“咽炎”：若有咽部干灼、疼痛或者聲音嘶啞的急性咽炎癥狀時，請及時到醫(yī)院耳鼻喉科就診；若僅表現(xiàn)為長期的咽部不適，干嘔等慢性咽炎癥狀時，建議多喝水、注意口腔衛(wèi)生、避免辛辣食物、避免飲食過多和飯后就躺的習(xí)慣，必要時可使用咽喉含片。

“腎結(jié)石”：若有持續(xù)的腰背部等腎區(qū)疼痛或者血尿，請及時到醫(yī)院泌尿外科就醫(yī)；若體檢者無其他不適癥狀，建議多飲水、減少碳酸飲料的攝入、避免久坐等。

3 總結(jié)與展望

隨著我國人口老齡化進展以及亞健康和慢性病的增多，人們對健康的需求日益增加。自從2017年國家提出將人工智能應(yīng)用到醫(yī)療行業(yè)以來，智能化醫(yī)療軟件和設(shè)備的研發(fā)成為醫(yī)療行業(yè)的一大熱點。

目前，人工智能在醫(yī)學(xué)影像的識別[12]、疾病的輔助診斷[13]、藥物的研發(fā)[14]等方面有了越來越多的研究與應(yīng)用，但是人工智能在健康體檢方面的應(yīng)用較少。目前大多數(shù)體檢者是根據(jù)體檢報告單的結(jié)果主動去醫(yī)療APP上查找某一指標的意義或者某一疾病的病因及醫(yī)療建議，且要主動去查找歷年體檢報告，自行比較后，才會發(fā)現(xiàn)每年體檢結(jié)果的變化，比較耗時耗力。顧東興等[15]設(shè)計的一款微信小程序，雖然將人工智能應(yīng)用到體檢，簡化了體檢流程，開展了健康評估、疾病動態(tài)監(jiān)測等服務(wù)，但該程序目前只適用于上海市體檢者，其他地區(qū)尚未開展。

本研究設(shè)計的一款體檢報告智能交互系統(tǒng)，可以幫助體檢者更直觀地解讀體檢報告，自動展示個人歷年體檢結(jié)果新出現(xiàn)的不同關(guān)鍵詞，并根據(jù)體檢所反映的健康問題直接快速提供專業(yè)合理的建議，不用體檢者自行發(fā)現(xiàn)與查找，非常高效且簡便。與顧東興等設(shè)計的微信小程序相比，無論體檢者在哪個城市，是否是在同一家醫(yī)院體檢，只要體檢者輸入體檢報告照片進入該交互系統(tǒng)，該系統(tǒng)就可以保存記錄，并自行比較歷年體檢變化和給出相應(yīng)醫(yī)療建議及需要就診時給出就診科室建議等。

對于高血壓、糖尿病等慢性病，要長期監(jiān)測血壓、血糖等指標的動態(tài)變化。目前該系統(tǒng)尚不能對同一指標數(shù)據(jù)進行跟蹤分析其歷年變化趨勢。同時，醫(yī)療大數(shù)據(jù)具有一定隱私性、安全性等。我們接下來將從以下方面對該系統(tǒng)進行完善：①通過對體檢者體檢報告各項指標的歷年數(shù)據(jù)進行大數(shù)據(jù)分析，挖掘出各項指標變化與疾病之間更多的潛在聯(lián)系，給體檢者提供更多更全面的醫(yī)療建議；②進一步完善健康數(shù)據(jù)庫，擴充更多類型的疾病關(guān)鍵詞的專業(yè)建議；③對該系統(tǒng)進行加密，保護體檢者隱私，確保數(shù)據(jù)安全。

綜上，該交互系統(tǒng)使體檢者不僅可以了解自身健康狀況、了解某一疾病的動態(tài)變化，還可以獲得科學(xué)的健康改進建議，做到疾病早發(fā)現(xiàn)、早干預(yù)、早治療，努力改善體檢者的身體健康，使體檢更有實際意義。