基于醫(yī)院RIS-PACS場景的人工智能骨齡檢測系統(tǒng)集成技術與實現(xiàn)

【作 者】施莉麗，楊秀軍，于廣軍，賴雙，潘志君，王乾

1 上海交通大學附屬兒童醫(yī)院，上海市，200062

2 衛(wèi)寧健康科技集團有限公司，上海市，200072

3 上海交通大學 生物醫(yī)學工程學院，上海市，200030

0 引言

人工智能（artificial intelligence,AI）+醫(yī)療是近年發(fā)展迅猛的技術新浪潮，由于其直接關乎國計民生，成了各國政府不惜重金研發(fā)的熱點和高地。隨著深度學習技術在醫(yī)學影像診斷與分析領域的不斷發(fā)展，國內(nèi)外各種基于醫(yī)學影像AI算法的研究如火如荼，實驗模型亦應運而生，且一些模型在國內(nèi)外各類平臺的比賽中，無論工作效率、診斷準確性還是圖像質(zhì)量方面均表現(xiàn)不俗[1-3]，甚至已超越人類。AI+醫(yī)療正由學術界驅動轉為學術界、產(chǎn)業(yè)界共同驅動和產(chǎn)學研協(xié)同創(chuàng)新發(fā)展。一個由AI替代影像醫(yī)師進行簡單、機械、重復勞動，協(xié)助影像醫(yī)師提高診查效率與精確性的影像學科也離我們越來越近了。

然而，就醫(yī)學影像診斷與分析而言，需要醫(yī)生在主要基于醫(yī)院網(wǎng)絡和放射科信息系統(tǒng)（radiological information system，RIS）及醫(yī)學影像存檔與通訊系統(tǒng)（picture archiving and communication system，PACS）的平臺上完成。為此，再好的AI模型，不上線落地該平臺臨床應用都無法實現(xiàn)。如何將AI算法模塊系統(tǒng)、深度集成到RIS-PACS平臺中，實現(xiàn)基于醫(yī)院網(wǎng)絡及RISPACS真實場景的AI項目的落地，創(chuàng)建一鍵式快速自動化臨床影像診斷工作流，是一個非常棘手的問題，至今尚缺非常成功的臨床案例與研究報道[4-6]?；谧灾餮邪l(fā)的兩套不同骨齡AI檢測系統(tǒng)（CHBoneAI 1.0/2.0）在真實醫(yī)院網(wǎng)絡及RISPACS平臺的集成與實踐，提出了一種解決這個問題的方法和架構，成功實現(xiàn)了CHBoneAI項目初步落地和臨床上線“并行運行”。

1 材料與方法

采用分步、分階段遵從醫(yī)學數(shù)字成像及通訊（digital imaging and communication in medicine,DICOM3.0）和無縫銜接（health level 7，HL7）標準設計、構建與實施。I期將基于深度學習的骨齡人工智能檢測評估系統(tǒng)（China bone-age-assessment artificial intelligence system，CHBoneAI）軟件包集成、嵌入現(xiàn)行醫(yī)院網(wǎng)絡和影像科RIS-PACS平臺中，實現(xiàn)骨齡人工評估和人工智能評估“并行運行”；II期利用強化學習、遷移學習等策略，推進CHBoneAI模型自我進化和初寫報告“替代運行”，為探索從單中心到多中心的可擴展服務模式、全面智能化替代運行夯實基礎。本研究主要實現(xiàn)I期構建目標。

1.1 算法模型構建

選擇深度學習核心算法并優(yōu)化其工程實現(xiàn)，通過深度卷積神經(jīng)網(wǎng)絡提取骨齡影像視覺信息并抽象為高階特征描述子，構建CHBoneAI模型，實現(xiàn)骨齡影像到臨床診斷的端到端映射[3]。首先應用faster RCNN，對基于臨床先驗知識相關的手腕部骨關節(jié)具有重要骨齡評估價值的17個傳統(tǒng)骨化中心特征區(qū)域進行標記，遠節(jié)指骨近端標記為1、近節(jié)指骨近端標記為2、掌骨遠端標記為3、腕骨標記為4、橈骨遠端標記為5、尺骨遠端標記為6；在這些部位數(shù)字后面進一步標注1或0分別表示有或無骨化中心出現(xiàn)（圖1）。

圖1 骨齡AI評估坐標圖Fig.1 The bone age AI assessment coordinates map

以此為基礎深度學習，同時結合性別、年齡先驗信息進行多模態(tài)特征訓練，建立Xgboost骨齡回歸模型，成功實現(xiàn)了第一套骨齡AI評估系統(tǒng)（CHBoneAI 1.0）；隨后鑒于實際骨齡尚存在17個特征區(qū)域以外的位置及結構特征決定因素以及實際驗證、測試結果的情況，采用在resnet101基礎上設計構建基于整張手腕部數(shù)字化放射攝影（digital radiography，DR）整體影像特征的異構數(shù)據(jù)驅動下視覺注意力引導的信息融合的深度學習骨齡評估模型（CHBoneAI 2.0），CHBoneAI 2.0利用神經(jīng)網(wǎng)絡注意力機制，基于整張手腕部DR整體影像，深度學習特征，根據(jù)特征圖的梯度和激活情況來顯示出模型所關注的區(qū)域及關注度，骨齡AI評估熱力圖（圖2）有顏色區(qū)域為重點關注的部分，顏色越深關注度越高。CHBoneAI 2.0實現(xiàn)在進行骨齡判讀的同時，獲取神經(jīng)網(wǎng)絡在手腕部DR圖像中真正掃描和關注的重要區(qū)域，并以熱力圖的形式可視化呈現(xiàn)，提高了骨齡AI評估的精準度。

圖2 骨齡AI評估熱力圖Fig.2 The bone-age AI heat map

1.2 RIS-PACS系統(tǒng)的流程改造

為了將RIS-PACS系統(tǒng)與AI系統(tǒng)對接，需要對其進行改造。改造的結果需要基于以下原則：充分考慮醫(yī)院科室現(xiàn)有的工作流程，對現(xiàn)有的檢查和報告流程不做修改；同時系統(tǒng)的改造對工作人員是無感的，不會增加其工作量。改造后的流程（圖3）主要包括：①病人完成登記后，和原來的流程一樣進入檢查階段，對病人來說沒有任何變化。② 后臺服務對是否需要進行骨齡檢測進行判斷，若需要則進入下一階段的檢測流程，不需要則進入其他報告流程。③PACS骨齡服務獲取對應檢查影像，采用標準的Restful接口，與AI系統(tǒng)對接，影像沒有準備好，則輪詢直到影像準備完成。④ 檢測結果與檢查做自動關聯(lián)，準備好報告內(nèi)容。為確保登記信息與檢測結果的一一對應，在登記時為每位病人的每次檢查分配了唯一的流水條碼號，設備做檢查時與系統(tǒng)交互，將獲取這個唯一的條碼號。設備在后續(xù)生成影像時，包含了此條碼號，確保了影像和報告的一一關聯(lián)。為了確保關聯(lián)性，我們?yōu)椴∪颂峁┝藯l碼腕帶，設備操作間配備了掃碼硬件，每次病人進檢查間，醫(yī)師都要對病人腕帶條碼進行掃碼確認。這些措施保證了人、影像和報告的一致性。⑤ 醫(yī)生打開報告后，對報告結果進行審核、確認。整個流程對報告醫(yī)生而言，免去了原先需要進行的查看影像結果，翻閱圖譜資料進行比對等過程，大大節(jié)省了時間，提高了工作效率。

圖3 骨齡AI檢測系統(tǒng)工作流程Fig.3 Bone age AI detection system workflow

1.3 AI系統(tǒng)與RIS-PACS系統(tǒng)的集成

為了讓AI骨齡檢測系統(tǒng)無縫接入PACS-RIS系統(tǒng)，我們設計了系統(tǒng)模型（圖4）。以HTTP接口的形式對外提供服務，其中PACS人工智能服務負責從RIS-PACS系統(tǒng)中獲取需要做檢測的檢查與影像信息，通過HTTP接口與AI-骨齡檢測引擎進行通信，獲得檢測結果后，返回PACS-RIS系統(tǒng)。

圖4 AI模型與RIS-PACS平臺的集成構架Fig.4 AI model and RIS-PACS platform integration framework

PACS、RIS系統(tǒng)提供PACS人工智能服務需要的檢測數(shù)據(jù)，并將檢測結果顯示出來。在RIS中顯示報告內(nèi)容，在PACS中顯示檢測后的影像結果。以現(xiàn)有報告模塊為基礎，構建了計算機視覺評估的結構化結果模塊，其中僅骨齡預測的數(shù)值是變量，由AI實測寫入。同時本項目也對傳統(tǒng)的骨化中心情況進行自動檢測，分析指標如表1所示，根據(jù)骨齡查找表將結果轉化為報告內(nèi)容、記錄到數(shù)據(jù)庫中，并同步顯示于人工視覺評估結果欄內(nèi)，供影像醫(yī)師評估時參考。

表1 掌骨遠端、近節(jié)指骨近端、遠節(jié)指骨近端及橈骨、尺骨遠端骨化中心AI檢測結果表達Tab.1 Expression of AI in the distal metacarpal,proximal phalanx,proximal phalanx,and ossification center of the humerus and ulna

這樣，CHBoneAI軟件包前端界面部分集成在RIS報告書寫界面中、提供DLL方式掛載到RIS的程序中，后端提供單獨運行的Windows服務、安裝在獨立的應用服務器（GPU）中。CHBoneAI系統(tǒng)運行時，RIS系統(tǒng)通過電子申請單接口獲取HIS系統(tǒng)中相關病人的基本信息如性別、年齡等及檢查電子申請單對應的主要信息如檢查項目、部位等。通過PACS人工智能服務器輪詢、過濾RIS服務器骨齡DR攝影隊列和登記信息，將登記為需要骨齡檢查的記錄識別出來。同時判斷是否完成了檢查，如果已經(jīng)完成了檢查，則下載關聯(lián)的影像并推送到GPU服務器本地（若未完成檢查，將等待檢查完成后再下載影像）。GPU服務器隨即對完成下載的骨齡影像自動評估（規(guī)定其最新影像為AI評估的目標圖像，來解決一個目錄下多個影像的問題），通過webservice接口將預測的骨齡結果數(shù)據(jù)、AI所關注的17個關鍵點坐標圖或關注區(qū)域熱力圖傳輸并記錄、存儲于RIS服務器數(shù)據(jù)庫中（包括病人檢查的唯一條碼信息），評估完成后GPU上的骨齡影像數(shù)據(jù)自動清除。

2 結果

2套不同的人工智能骨齡檢測系統(tǒng)均成功嵌入式集成于本院網(wǎng)絡及RIS-PACS平臺上，近3年來醫(yī)師人工評估和AI評估“并行運行”臨床上線較為穩(wěn)定。CHBoneAI 1.0（圖5）和CHBoneAI 2.0（圖6）輸出結果均包括醫(yī)師和AI兩者評估的骨齡數(shù)值，數(shù)值臨床意義解讀由醫(yī)師完成。

圖5 CHBoneAI 1.0并行運行結果輸出格式與內(nèi)容Fig.5 CHBoneAI 1.0 parallel operation results output format and content

圖6 CHBoneAI 2.0并行運行結果輸出格式與內(nèi)容Fig.6 CHBoneAI 2.0 parallel operation results output format and content

2套AI算法模型計算機視覺評估結果的輸出格式不同，前者輸出模塊為“AI自動識別和定位指定的掌指、指間及腕部關鍵17個區(qū)域，基于區(qū)域內(nèi)高階視覺編碼，通過深度卷積網(wǎng)絡分析其高階視覺特征和模式，動態(tài)融合結果，骨齡符合n.n(y)”，后者輸出模塊為“AI自動識別、定位非指定的包括腕骨、遠端尺橈骨、掌指骨及籽骨的整個手腕部DR影像區(qū)域，基于整體影像異構數(shù)據(jù)高階視覺編碼，分析視覺特征及其模式，通過多尺度動態(tài)特種融合完成骨齡評估，綜合預測手腕骨的整體骨齡為n.n(y)”。在目前醫(yī)院千兆網(wǎng)絡條件下，每個臨床病例骨齡AI檢測整個流程所花費的時間不超過3 s，其中圖像下載與傳輸時間在2 s以內(nèi)、骨齡預測所需時間為0.1 s。

本研究的CHBoneAI系統(tǒng)在臨床運行中存在的問題及CHBoneAI 2.0對比CHBoneAI 1.0改進措施如下：圖像曝光不足、置位不正尤其手腕部位置呈橫位、先天或后天原因導致手腕骨塑形異常、同一目錄下混有其他影像等情況，CHBoneAI 1.0未能預測讀數(shù)出骨齡；HIS、RIS登錄性別、年齡錯誤，CHBoneAI 1.0骨齡預測誤差增大、CHBoneAI 2.0無影響，檢查項目、部位錯誤主要是檢查項目、部位欄目里無“骨齡片-腕關節(jié)”主題詞，CHBoneAI 1.0和CHBoneAI 2.0均未能預測讀數(shù)出骨齡，檢查項目、部位欄目里有“骨齡片-腕關節(jié)”主題詞但非手腕部骨齡片，CHBoneAI 1.0拒絕骨齡評估及讀數(shù)、CHBoneAI 2.0誤讀骨齡。此外目前本研究的CHBoneAI尚未能對其預測的骨齡數(shù)值的臨床意義進行評判，軟件自我進化等問題也未涉獵與解決。

3 討論

骨齡檢測無論圖譜法、計分法或其他綜合性方法，均頗為繁瑣、機械，個人經(jīng)驗依賴性強，因此骨齡檢測特別適合計算機視覺處理和基于AI診斷工具的自動化檢測[3-8]。盡管基于大數(shù)據(jù)的深度網(wǎng)絡計算模型已越來越類似人腦智能[8-9]，但迄今臨床上仍缺乏一款實戰(zhàn)實用、真正運行在醫(yī)院網(wǎng)絡平臺和RIS-PACS工作流程中的線上AI骨齡檢測系統(tǒng)。

RIS-PACS平臺上AI骨齡檢測實現(xiàn)的關鍵，一是軟件包的異構系統(tǒng)間集成與融合，二是AI分析結果輸出轉換為符合放射診斷質(zhì)控要求的報告。系統(tǒng)中計算機處理圖像過程主要包括以下4步：①從主機內(nèi)存將需要處理的數(shù)據(jù)拷貝到GPU的內(nèi)存上；②CPU發(fā)送數(shù)據(jù)處理執(zhí)行給GPU；③GPU執(zhí)行并行數(shù)據(jù)處理；④將結果從GPU內(nèi)存拷貝到主機內(nèi)存。為此，CHBoneAI軟件包的前端模塊包括數(shù)據(jù)處理平臺（硬件層與數(shù)據(jù)處理層）、AI引擎、服務層，通過院內(nèi)集成平臺與RIS系統(tǒng)進行數(shù)據(jù)交互，提供基于深度學習核心算法的骨齡檢測AI服務；后端架設了骨齡檢測的應用服務，與院內(nèi)PACS系統(tǒng)通過標準的webservcie方式集成，將系統(tǒng)中的影像數(shù)據(jù)與AI系統(tǒng)進行交互，獲取報告信息后自動完成報告內(nèi)容的生成。這樣的集成方式，可確保即使CHBoneAI軟件包發(fā)生異常，也不會影響院內(nèi)PACS系統(tǒng)運行，從而有效避免對PACS系統(tǒng)日常業(yè)務的干擾。

總之，基于Python flask web框架的http協(xié)議，通過調(diào)用、對接醫(yī)院PACS、RIS接口，實現(xiàn)CHBoneAI模型API（應用程序編程接口）與PACS、RIS系統(tǒng)的集成；輸入端兼容DICOM格式、輸出端自動生成符合臨床規(guī)范格式的診斷報告，實現(xiàn)了醫(yī)院網(wǎng)絡真實場景和工作流程的一鍵式骨齡AI檢測和骨齡智能診斷服務的高性能部署，初步實現(xiàn)了快速一鍵式自動化骨齡檢測。近3年的臨床實踐和“并行運行”，顯示其性能較為穩(wěn)定，不失為一個符合中國國情的AI落地策略，成功完成了I期CHBoneAI的構建。不過，本研究中CHBoneAI尚未對其預測的骨齡數(shù)值的臨床意義進行評判，目標目錄下多圖像、非標化圖像的精準智能識別及軟件自我進化、“替代運行”等問題也未能有效解決，這些將有待在Ⅱ期建設中進一步深入研究與完善。