自然語言處理在醫(yī)學(xué)影像中的應(yīng)用

馬帥， 王霄英

·影像信息學(xué)專題·

自然語言處理在醫(yī)學(xué)影像中的應(yīng)用

馬帥， 王霄英

隨著計(jì)算機(jī)技術(shù)快速發(fā)展，與影像診斷密切相關(guān)的軟件研發(fā)有望超過傳統(tǒng)硬件成為影像信息學(xué)發(fā)展的主流，自然語言處理(NLP)作為新興技術(shù)在醫(yī)學(xué)影像領(lǐng)域表現(xiàn)出良好的應(yīng)用前景。本文概述NLP原理及其在醫(yī)學(xué)影像中的應(yīng)用，并對未來發(fā)展方向進(jìn)行展望。

自然語言處理； 醫(yī)學(xué)標(biāo)準(zhǔn)術(shù)語； 文本挖掘； 結(jié)構(gòu)化

醫(yī)學(xué)影像報(bào)告是電子健康病歷(electronic health record，EHR)中包含大量數(shù)字信息的重要組成部分。但影像報(bào)告多以自由文本形式出現(xiàn)在EHR中，這種非結(jié)構(gòu)式數(shù)據(jù)不利于信息的提取和利用。由于對報(bào)告信息進(jìn)行人工提取耗時且難于操作，所以自然語言處理(natural language processing，NLP)技術(shù)成為醫(yī)學(xué)影像報(bào)告信息化的重要工具[1]。NLP通過計(jì)算機(jī)智能分析自由文本，并自動完成數(shù)據(jù)挖掘任務(wù)，將人類自然語言翻譯成結(jié)構(gòu)化形式[2]，從而有效地利用了報(bào)告中信息。本文概述NLP的原理及其在醫(yī)學(xué)影像中的應(yīng)用，并對未來發(fā)展方向進(jìn)行了展望。

NLP工作原理

NLP從自然語言數(shù)據(jù)中推導(dǎo)出規(guī)則和模型，將文本轉(zhuǎn)化為結(jié)構(gòu)化的編碼信息，從而可進(jìn)行快速查詢和分析。在NLP工作過程中涉及了語言學(xué)方法(如語法、語義和語境等)和統(tǒng)計(jì)方法。

雖然多種NLP的具體目標(biāo)、技術(shù)、操作過程不盡相同，但主要工作原理基本相似，均可分為特征提取、特征加工、系統(tǒng)訓(xùn)練和驗(yàn)證幾個步驟，現(xiàn)分述如下。

1.特征提取

特征提取是指NLP分割文本、識別單個概念，并定義識別出的概念與其它醫(yī)學(xué)概念的關(guān)系，輸出結(jié)構(gòu)式的數(shù)據(jù)。在特征提取過程中，先進(jìn)行詞匯分割，再進(jìn)行詞匯的語義分析。

按從大到小的尺度進(jìn)行詞匯分割。先將整個影像報(bào)告分割為若干段落，再分為句子、詞組、詞匯。在詞匯層面上，判定詞根、糾正拼寫錯誤以及把縮略語擴(kuò)充完整。

按從局部到整體的尺度進(jìn)行詞匯的語義分析。詞匯的特征從局部到整體可分為：概念、詞典和知識體系(ontology，計(jì)算機(jī)術(shù)語為“本體”)?！案拍?concept)”指的是每個詞匯被賦予的獨(dú)特含義(如某種疾病)。“詞典(lexicon)”指的是一組有相同含義的概念及其同意詞、衍生詞和相關(guān)術(shù)語等，如一體化醫(yī)學(xué)語言系統(tǒng)(unified medical language system，UMLS)詞典[3]或者RadLex詞典[4]?！爸R體系(ontology)”指的是每個概念與其它不同概念之間的相互關(guān)系，如本概念對其它概念所起到的限定、修飾作用等，如SNOMED-CT。

通過特征提取，報(bào)告中的自然語言被分割為結(jié)構(gòu)式的概念，且每個概念都被定義了與其它概念的關(guān)系，進(jìn)一步用于后續(xù)的特征加工。

2.特征加工

判斷從報(bào)告中提取出的結(jié)構(gòu)化數(shù)據(jù)是否包含目標(biāo)概念，進(jìn)而判斷能否通過提取出的數(shù)據(jù)推導(dǎo)出某種臨床結(jié)局。進(jìn)行特征加工必須依據(jù)某種規(guī)則，通常有兩種生成規(guī)則的方法：一種是專家制定規(guī)則；另一種是通過統(tǒng)計(jì)或機(jī)器學(xué)習(xí)方法從數(shù)據(jù)中自動推導(dǎo)制定規(guī)則。也可以聯(lián)合制定規(guī)則，如先由機(jī)器學(xué)習(xí)產(chǎn)生規(guī)則，再由專家對其判斷和校正。無論何種方法進(jìn)行特征加工，所設(shè)定的規(guī)則均應(yīng)進(jìn)行訓(xùn)練和驗(yàn)證，才可進(jìn)一步應(yīng)用。

3.系統(tǒng)訓(xùn)練和驗(yàn)證

完成特征加工后的系統(tǒng)，要進(jìn)行訓(xùn)練和驗(yàn)證。在此過程中，應(yīng)提供給系統(tǒng)足夠的分類“標(biāo)準(zhǔn)答案”。通常情況下，訓(xùn)練時使用越大量的標(biāo)準(zhǔn)數(shù)據(jù)，并對其進(jìn)行驗(yàn)證，越可保證實(shí)際使用中系統(tǒng)的穩(wěn)定運(yùn)行。但考慮到訓(xùn)練和驗(yàn)證的成本，在實(shí)際操作中用于各類學(xué)習(xí)任務(wù)的訓(xùn)練數(shù)據(jù)量可有一定差異，通常幾百例數(shù)據(jù)對于大部分任務(wù)是足夠的。

文獻(xiàn)報(bào)告NLP驗(yàn)證的結(jié)果通常較好，在許多系統(tǒng)中其敏感度和特異度均超過90%。在不同軟件系統(tǒng)、不同應(yīng)用目的、不同時間點(diǎn)進(jìn)行測試，其性能未表現(xiàn)出明顯差異。

4.部分NLP相關(guān)資源

近年來，不同機(jī)構(gòu)發(fā)布了多種NLP工具[1-2]，其目的、任務(wù)有所不同，可根據(jù)不同的研究目的來選用，具體見表1。

NLP臨床應(yīng)用概述

根據(jù)信息提取的對象和目的不同，NLP可用于患者個體信息分析、患者群體信息分析和醫(yī)學(xué)影像流程信息分析等。

1.患者個體影像診斷信息提取和分析，對患者個體疾病處理提供幫助

提示“危急發(fā)現(xiàn)(critical findings)”：NLP檢出影像報(bào)告中描述的、可能導(dǎo)致嚴(yán)重后果的影像征象，提醒處理該患者的醫(yī)師注意[5]。目前NLP可提示的危急情況有闌尾炎、急性肺損傷、肺炎、血栓栓塞性疾病及各類潛在惡性病變等[6]。如NLP在報(bào)告中發(fā)現(xiàn)危急情況，會提示影像醫(yī)師及時與臨床醫(yī)師交流。

提示隨訪建議：NLP檢出報(bào)告中應(yīng)提示臨床進(jìn)行后續(xù)操作的內(nèi)容，自動生成隨訪建議，提示后續(xù)檢查或治療[7]。

注：ACR = American College of Radiology，美國放射學(xué)會；BI-RADS = Breast Imaging-Reporting and Data System，乳腺影像報(bào)告與數(shù)據(jù)系統(tǒng)；BROK=BI-RADS Observation Kit，乳腺影像報(bào)告與數(shù)據(jù)系統(tǒng)觀察工具；cTAKES = Apache clinical Text Analysis and Knowledge Extraction System，Apache臨床文本分析及知識提取系統(tǒng)；GATE = General Architecture for Text Engineering，文本設(shè)計(jì)的整體構(gòu)建；HOST = Extensible Human Oracle Suite of Tools，可拓展人類Oracle套件；LEXIMER = Lexicon Mediated Entropy Reduction，詞典介導(dǎo)的熵約簡；NLM=National Library of Medicine，美國國家醫(yī)學(xué)圖書館；MedLEE = Medical Language Extraction and Encoding System，醫(yī)學(xué)語言提取和編碼系統(tǒng)；MALLET = Machine Learning for Language Toolkit，機(jī)器學(xué)習(xí)語言工具包；MEDINA = Medical Information Anonymization，醫(yī)學(xué)信息匿名化；UIMA = Unstructured Information Management applications，非結(jié)構(gòu)化信息管理應(yīng)用；UMLS = Unified Medical Language System，一體化醫(yī)學(xué)語言系統(tǒng)；WEKA = Waikato Environment for Knowledge Analysis，懷卡托智能分析環(huán)境系統(tǒng)。

提示偶然發(fā)現(xiàn)[8]：利用機(jī)器學(xué)習(xí)分類器可檢出有臨床意義的偶然發(fā)現(xiàn)，避免臨床醫(yī)生忽略該發(fā)現(xiàn)而造成延遲診治[9]。

檢查報(bào)告中的邏輯錯誤：根據(jù)預(yù)先設(shè)定好的邏輯，可檢出有明確邏輯矛盾的內(nèi)容，提示報(bào)告醫(yī)師是否可能為誤讀、誤判或誤操作。

2.患者群體影像診斷信息提取和分析，構(gòu)建患者隊(duì)列，用于流行病學(xué)研究、行政管理等

流行病學(xué)研究隊(duì)列的構(gòu)建：使用NLP可高效率地分析大數(shù)量、患者群體的影像報(bào)告，得到群體的特征性數(shù)據(jù)。使用傳統(tǒng)方法構(gòu)建流行病學(xué)研究患者隊(duì)列，需耗費(fèi)大量時間和人力才能篩選出合適病例，而NLP可提高流行病學(xué)研究效率，為循證影像醫(yī)學(xué)研究提供幫助[11-15]。

在醫(yī)院或社會群體水平監(jiān)控公共衛(wèi)生情況：NLP可用于評估區(qū)域健康情況[10]。利用從圖像中提取的群體NLP特征值和其它結(jié)構(gòu)化電子病歷數(shù)據(jù)來監(jiān)控公共健康水平，進(jìn)行決策分析[16-17]。

3.醫(yī)學(xué)影像流程信息的提取和分析，用于醫(yī)學(xué)影像報(bào)告質(zhì)量評價和改進(jìn)

報(bào)告質(zhì)量評價和報(bào)告規(guī)范的建立：NLP可識別醫(yī)學(xué)影像學(xué)的流程和質(zhì)量指標(biāo)，判斷影像報(bào)告是否符合相關(guān)指南或診斷規(guī)則[18]。對大量影像報(bào)告中的海量數(shù)據(jù)進(jìn)行自動內(nèi)容分析可反映影像科日常工作運(yùn)行情況。目前NLP系統(tǒng)已可用于評價報(bào)告的完整性和規(guī)范性，是否給出正確的建議，是否及時進(jìn)行危急情況的預(yù)警，報(bào)告信息是否用于疾病的診斷等方面[5,19-21]。利用NLP結(jié)果，對建立報(bào)告規(guī)范可起到指導(dǎo)作用。

醫(yī)師個人表現(xiàn)評價和改進(jìn)建議：NLP可針對醫(yī)師完成報(bào)告的表現(xiàn)進(jìn)行評價，用于診斷醫(yī)師個人的質(zhì)量評價[22-23]。在對診斷醫(yī)師表現(xiàn)進(jìn)行評判的基礎(chǔ)上提出改進(jìn)建議[24]。

影像檢查全流程的改進(jìn)：NLP可對各類影像的綜合信息進(jìn)行分析，將報(bào)告中的檢查結(jié)果和建議等信息與全面的臨床信息相互關(guān)聯(lián)，如檢查適應(yīng)證、疾病種類、患者年齡、性別、申請科室、申請醫(yī)師及患者類型(住院或門診)等[25]。這種大規(guī)模的數(shù)據(jù)分析在經(jīng)過驗(yàn)證后，可得到預(yù)測模型，形成適合本地情況的臨床決策支持系統(tǒng)(clinical decision support system，CDSS)，應(yīng)可應(yīng)用到計(jì)算機(jī)醫(yī)囑系統(tǒng)(computerized physician order entry，CPOE)中去[26]，對影像檢查從申請開始、到臨床應(yīng)用結(jié)束的全過程進(jìn)行高質(zhì)量、高效率和標(biāo)準(zhǔn)化的管理。

行政和財(cái)務(wù)方面的應(yīng)用：NLP可將影像報(bào)告結(jié)論自動匹配到醫(yī)療編碼系統(tǒng)(比如將影像報(bào)告結(jié)論和ICD-10編碼實(shí)現(xiàn)自動匹配)，對于醫(yī)政管理、財(cái)務(wù)及決策制定等工作有幫助[27]。

NLP應(yīng)用中分析

醫(yī)學(xué)影像中使用NLP的總體目標(biāo)是挖掘診斷報(bào)告中結(jié)構(gòu)化信息，并將其應(yīng)用于臨床診治過程。盡管應(yīng)用目的多種多樣，但目前大部分NLP系統(tǒng)都用于判定影像報(bào)告中是否包含了特定影像學(xué)發(fā)現(xiàn)(如某疾病表現(xiàn)或特定發(fā)現(xiàn))[28]。NLP的主要優(yōu)勢就是自動化，減少甚至免除人工審閱報(bào)告的精力并實(shí)現(xiàn)對大量數(shù)據(jù)資料的評估，因此之前難于操作的任務(wù)如今也能輕松實(shí)現(xiàn)。NLP的另一個優(yōu)勢是可對影像報(bào)告書寫過程進(jìn)行監(jiān)測，直接對診斷或臨床醫(yī)師提出建議。

但NLP實(shí)際應(yīng)用中尚待解決的問題仍很多，主要有以下幾點(diǎn)。①NLP雖有不少臨床應(yīng)用案例，但基本上仍處于初步探索階段，關(guān)鍵性問題尚待解決。NLP中各類技術(shù)指標(biāo)的確定，并非由臨床需求本身決定，而是取決于醫(yī)療機(jī)構(gòu)可獲得的技術(shù)工具，特別是NLP系統(tǒng)開發(fā)者的專業(yè)知識和業(yè)務(wù)水平。客觀地講，NLP仍處于概念驗(yàn)證階段，對實(shí)際臨床問題的解決效能、以及解決問題所帶來的實(shí)際臨床價值，尚未獲得足夠的證據(jù)支持。②NLP處理信息的規(guī)則不明晰，使得NLP不易被接受。在特征分析過程中，如使用了專家制定的規(guī)則，則較易于被理解，其結(jié)論也易于被使用者所接受。但如果使用了機(jī)器學(xué)習(xí)方法，系統(tǒng)的邏輯規(guī)則是由計(jì)算機(jī)系統(tǒng)通過數(shù)據(jù)分析得到的，這個過程很復(fù)雜，不可能明確說明其內(nèi)在邏輯，此時臨床醫(yī)師常常不愿意接受自動算法的結(jié)果。③原始影像報(bào)告未達(dá)標(biāo)準(zhǔn)化，也使得NLP結(jié)果不易推廣。在傳統(tǒng)工作模式下，影像報(bào)告的書寫與醫(yī)師個人知識、工作習(xí)慣有關(guān)，也與本單位的規(guī)則、管理要求等有關(guān)，但目前多數(shù)報(bào)告尚不符合標(biāo)準(zhǔn)化要求，對NLP的應(yīng)用效果造成不利影響[29]。實(shí)際上，報(bào)告本身的標(biāo)準(zhǔn)化并不是主要困難，整個影像鏈的非標(biāo)準(zhǔn)化造成了NLP應(yīng)用更大的困難。只有遵循全影像鏈的規(guī)范化標(biāo)準(zhǔn)操作，NLP的結(jié)果才能最終得到推廣普及。

NLP未來發(fā)展方向

在影像工作過程中，亟待進(jìn)一步研發(fā)和探索NLP更有價值的臨床應(yīng)用：從一系列影像報(bào)告中自動做出疾病病程的評價；挖掘臨床信息與影像信息的內(nèi)在聯(lián)系；對影像報(bào)告的綜合結(jié)果進(jìn)行編碼，用于特定患者的隊(duì)列構(gòu)建，進(jìn)行病歷自動審核功能等。NLP系統(tǒng)不僅可用于影像報(bào)告生成之后，還應(yīng)在報(bào)告生成過程中直接對報(bào)告提供幫助，輔助影像醫(yī)師更加高效、高質(zhì)量、規(guī)范化地書寫報(bào)告；將診斷報(bào)告中的結(jié)構(gòu)式信息與相關(guān)指南和臨床信息進(jìn)行關(guān)聯(lián)，自動提供處理建議等。

在臨床工作過程中，NLP應(yīng)把其它相關(guān)醫(yī)學(xué)信息與影像信息整合，使影像工作從檢查申請開始、到臨床發(fā)布過程中都明顯受益，如：NLP在海量電子病歷信息中識別出某些臨床診斷和臨床需求，將這些信息提供給影像醫(yī)師，使得影像檢查開始之前即可明確檢查目的，使檢查全過程的效率和質(zhì)量都得到明顯提高。

總之，隨著NLP在醫(yī)學(xué)應(yīng)用中的推廣，這項(xiàng)技術(shù)手段將進(jìn)入到醫(yī)學(xué)影像常規(guī)工作中，其價值也將會逐漸被發(fā)現(xiàn)和確認(rèn)。以NLP為代表的信息學(xué)工具的使用，終將改變醫(yī)學(xué)影像工作的流程、效率和質(zhì)量，使醫(yī)學(xué)影像工作模式因此而發(fā)生明顯的轉(zhuǎn)變。

[1] Cai T，Giannopoulos AA，Yu S，et al.Natural language processing technologies in radiology research and clinical applications[J].Radiographics,2016,36(1):176-191.

[2] Pons E，Braun LM，Hunink MG，et al.Natural language processing in radiology：a systematic review[J].Radiology,2016,279(2):329-343.

[3] U.S.National Library of Medicine.Unified Medical Language System (UMLS)[D/OL].July 29,2016.http://www.nlm.nih.gov/research/umls/.

[4] Radiological Society of North America.RadLex[D/OL].2016 October 10.http://www.rsna.org/RadLex.aspx. Accessed，.

[5] Lakhani P，Kim W，Langlotz CP.Automated extraction of critical test values and communications from unstructured radiology reports:an analysis of 9.3 million reports from 1990 to 2011[J].Radiology,2012,265(3):809-818.

[6] Chapman WW，F(xiàn)izman M，Chapman BE，et al.A comparison of classification algorithms to automatically identify chest X-ray reports that support pneumonia[J].J Biomed Inform,2001,34(1):4-14.

[7] Zingmond D，Lenert LA.Monitoring freetext data using medical language processing[J].Comput Biomed Res,1993,26(5):467-481.

[8] 杜婧，王霄英.ACR關(guān)于腹盆部檢查中偶然發(fā)現(xiàn)的處理原則[J].放射學(xué)實(shí)踐,2015,30(12):1225-1231.

[9] Dutta S，Long WJ，Brown DF，et al.Automated detection using natural language processing of radiologists recommendations for additional imaging of incidental findings[J].Ann Emerg Med,2013,62(2):162-169.

[10] Liu V，Clark MP，Mendoza M，et al.Automated identification of pneumonia in chest radiograph reports in critically ill patients[J].BMC Med Inform DecisMak,2013,13(90):1-8.

[11] Sada Y，Hou J，Richardson P，et al.Validation of case finding algorithms for hepatocellular cancer from administrative data and electronic health records using natural language processing[J].Med Care,2016,54(2):9-14.

[12] Carrell DS，Halgrim S，Tran DT，et al.Using natural language processing to improve efficiency of manual chart abstraction in research: the case of breast cancer recurrence[J].Am J Epide-miol,2014,179(6):749-758.

[13] Do BH，Wu A，Biswal S，Kamaya A，et al.Informatics in radiology:RADTF-a semantic search-enabled，natural language processor-generated radiology teaching file[J].RadioGraphics,2010,30(7):2039-2048.

[14] Chang EK，Yu CY，Clarke R，et al.Defining a patient population with cirrhosis:an automated algorithm with natural language processing[J].J Clin Gastroenterol,2016，50(10)：889-894.

[15] Masino AJ，Grundmeier RW，Pennington JW，et al.Temporal bone radiology report classification using open source machine learning and natural langue processinglibraries[J/OL].BMC Med Inform Decis Mak,2016,16:65.DOI:10.1186/S12911-016-0306-3.

[16] Pham AD，Névéol A，Lavergne T，et al.Natural language processing of radiology reports for the detection of thromboembolic diseases and clinically relevant incidental findings[J/OL].BMC Bioinformatics,2014,15(1):266.DOI:10.1186/1471-2105-15-266.

[17] Jensen PB，Jensen LJ，Brunak S.Mining electronic health records:towards better research applications and clinical care[J].Nat Rev Genet,2012,13(6):395-405.

[18] Dutta S，Long WJ，Brown DF，et al.Automated detection using natural language processing of radiologists recommendations for additional imaging of incidental findings[J].Ann Emerg Med,2013,62(2):162-169.

[19] Ip IK，Mortele KJ，Prevedello LM，et al.Focal cystic pancreatic lesions：assessing variation in radiologists' management recommendations[J].Radiology,2011,259(1):136-141.

[20] Duszak R，Nossal M，Schofield L，et al.Physician documentation deficiencies in abdominal ultrasound reports：frequency，characteristics and financial impact[J].J Am Coll Radiol,2012,9(6):403-408.

[21] Ip IK，Mortele KJ，PrevedelloLM，et al.Repeat abdominal imaging examinations in a tertiary care hospital[J].Am J Med，2012,125(2):155-161.

[22] 杜婧，王霄英.ACR影像報(bào)告及數(shù)據(jù)系統(tǒng)介紹[J].放射學(xué)實(shí)踐,2016,31(4):331-335.

[23] Dreyer KJ，Kalra MK，Maher MM，et al.Application of recently developed computer algorithm for automatic classification of unstructured radiology reports:validation study[J].Radiology,2005,234(2):323-329.

[24] Sevenster M，Bozeman J，Cowhy A，et al.A natural language processing pipeline for pairing measurements uniquely across free-text CT reports[J].J Biomed Inform,2015,53(1):36-48.

[25] Dang PA，Kalra MK，Blake MA，et al.Natural language proces-sing using online analytic processing for assessing recommendations in radiology reports[J].J Am Coll Radiol,2008,5(3):197-204.

[26] Patel TA，Puppala M，Ogunti RO，et al.Correlating mammographic and pathologic findings in clinical decision support using natural language processing and data mining methods[J].Can-cer,2016 Aug 29.doi:10.1002/cncr.30245.

[27] Farkas R，Szarvas G.Automatic construction of rule-based ICD-9-CM coding systems[J/OL].BMC Bioinformatics,2008，9(Suppl 3):S10.DOI:10.1186/1471-2105-9-S3-S10.

[28] Sevenster M，Buurman J，Liu P，et al.Natural language proces-sing techniques for extracting and categorizing finding measurements in narrative radiology reports[J].Appl Clin Inform,2015,6(3):600-610.

[29] 秦岫波，王蕊，高歌，等.前列腺多參數(shù)MRI報(bào)告進(jìn)展：基于第2版前列腺影像報(bào)告和數(shù)據(jù)系統(tǒng)的結(jié)構(gòu)式報(bào)告的構(gòu)建[J].腫瘤影像學(xué),2016,25(2):111-116.

100034 北京，北京大學(xué)第一醫(yī)院醫(yī)學(xué)影像科

馬帥(1987-)，男，山東慶云人，博士研究生，主要從事影像診斷研究工作。

王霄英，E-mail：cjr.wangxiaoying@vip.163.com

R814.41； R814.42； R445.2

A

1000-0313(2016)12-1120-04

10.13609/j.cnki.1000-0313.2016.12.002

2016-10-20

2016-11-05)