一種基于光學(xué)字符識(shí)別技術(shù)的超聲報(bào)告自動(dòng)化生成方法

黃友清，楊輝虎，魏達(dá)友，羅文高，張翠萍

茂名市人民醫(yī)院 （廣東茂名 525100）

隨著計(jì)算機(jī)和醫(yī)學(xué)技術(shù)的發(fā)展，大部分醫(yī)院的超聲診斷儀均配備了圖文報(bào)告系統(tǒng)，超聲醫(yī)師可使用計(jì)算機(jī)編寫超聲報(bào)告。但近年來(lái)各醫(yī)院超聲檢查申請(qǐng)量不斷增加，造成超聲醫(yī)師的工作量逐漸增多[1]。編寫超聲報(bào)告在超聲醫(yī)師所有工作耗時(shí)中占比較大，部分醫(yī)院甚至為其配備了專門的報(bào)告助理，但使用超聲報(bào)告助理會(huì)增加醫(yī)院人力成本；此外，受專業(yè)知識(shí)、教育背景及超聲系統(tǒng)操作熟練程度等因素影響，超聲報(bào)告助理并不能快速、準(zhǔn)確地輸出高質(zhì)量超聲報(bào)告，若錄入速度跟不上檢查進(jìn)度，還需超聲醫(yī)師進(jìn)行二次檢查，影響工作效率[2]。超聲醫(yī)師（無(wú)助理）通常的工作流程如下：在檢查過(guò)程中采集具有病變信息及測(cè)量數(shù)據(jù)的圖像，完成檢查后，根據(jù)記憶及采集到的圖像回顧性生成報(bào)告。該超聲報(bào)告編寫方式不僅浪費(fèi)時(shí)間，還可能因人為因素造成數(shù)據(jù)遺漏或輸入錯(cuò)誤?；诖耍诘萚3]提出了一種基于光學(xué)字符識(shí)別技術(shù)的超聲報(bào)告數(shù)值自動(dòng)讀取方法，通過(guò)連通區(qū)域檢測(cè)、數(shù)值區(qū)域提取、數(shù)值行劃分、文字識(shí)別、超聲報(bào)告自動(dòng)生成等環(huán)節(jié)，最終實(shí)現(xiàn)了超聲報(bào)告數(shù)值自動(dòng)讀取。該方法可取代醫(yī)師手動(dòng)輸入超聲報(bào)告數(shù)值，避免人為錄入數(shù)據(jù)可能造成的錯(cuò)誤，提高數(shù)據(jù)準(zhǔn)確率及超聲醫(yī)師工作效率。本研究在上述研究的基礎(chǔ)上，使用具有觸摸屏的超聲診斷儀，在檢查的同時(shí)添加超聲診斷注釋，獲取超聲診斷及測(cè)量?jī)煞矫娴男畔?，?shí)現(xiàn)了計(jì)算機(jī)自動(dòng)化生成超聲報(bào)告。

1 基于光學(xué)字符識(shí)別技術(shù)的超聲報(bào)告自動(dòng)化生成方法的構(gòu)建

1.1 設(shè)置超聲診斷儀觸摸屏上的注釋

使用Philips iU22 彩色多普勒超聲診斷儀，該設(shè)備的每個(gè)預(yù)設(shè)條件含2 張注釋頁(yè)，即完整診斷注釋（圖1）和組合診斷注釋（圖2），注釋項(xiàng)內(nèi)容以拼音首字母表示，共56 個(gè)項(xiàng)目。在完整診斷注釋頁(yè)中設(shè)置常用的完整診斷，并可組合數(shù)字1、2、3，用于表示輕、中、重不同的程度；在組合診斷注釋頁(yè)中設(shè)置部位、病變、類型及位置，用于組合為完整的診斷注釋項(xiàng)。通過(guò)以上兩種方式生成常見(jiàn)的超聲診斷注釋。

圖1 觸摸屏上的完整診斷注釋（局部）

圖2 觸摸屏上的組合診斷注釋（局部）

1.2 配置超聲工作站

超聲工作站使用聯(lián)想啟天M430-B451 臺(tái)式計(jì)算機(jī)，操作系統(tǒng)為Windows 10，光學(xué)字符識(shí)別工具為Tesseract 4.1，編程工具為Python 3.6，使用SQLite 數(shù)據(jù)庫(kù)儲(chǔ)存超聲報(bào)告模板。超聲工作站使用南方醫(yī)科大學(xué)研制的超聲圖文報(bào)告系統(tǒng)。采集卡為MZ0380 PCI，輸入圖像的分辨率為1 680×1 050 像素；該報(bào)告系統(tǒng)可截取1 024×800 像素的圖像，并儲(chǔ)存于超聲工作站中。

1.3 建立超聲報(bào)告模板數(shù)據(jù)庫(kù)

超聲報(bào)告模板數(shù)據(jù)庫(kù)主要包含注釋項(xiàng)、超聲描述、超聲提示、檢查部位、操作方式等字段。注釋項(xiàng)為數(shù)據(jù)庫(kù)中的關(guān)鍵字段，用于檢索相應(yīng)的超聲描述和超聲提示等內(nèi)容。超聲描述和超聲提示是超聲報(bào)告的2 個(gè)重要組成部分，其中的大部分內(nèi)容是固定不變的，對(duì)于可變部分內(nèi)容，需于相應(yīng)位置標(biāo)記錨點(diǎn)，在生成報(bào)告時(shí)，替換為相應(yīng)的位置、測(cè)量數(shù)據(jù)等內(nèi)容。檢查部位用于加載默認(rèn)模塊，生成正常報(bào)告。操作方式是根據(jù)不同的需要，在正常報(bào)告中進(jìn)行覆蓋、替換、插入等。

1.4 文字識(shí)別

通過(guò)Python 程序逐張讀取當(dāng)前檢查采集到的所有圖像，截取其中含有注釋字符及測(cè)量數(shù)據(jù)的部分圖像（注釋字符及測(cè)量數(shù)據(jù)在圖像中的位置是固定的），將截取的圖像進(jìn)行簡(jiǎn)單的二值化處理，即可使用Tesseract 軟件進(jìn)行識(shí)別，再將得到的結(jié)果處理為相應(yīng)的報(bào)告處理指令行。

1.5 自動(dòng)生成超聲報(bào)告

在超聲檢查中，若遇到異常圖像，可在其中加入注釋；若需具體信息，可進(jìn)行測(cè)量，測(cè)量結(jié)果顯示后，可采集圖像。檢查結(jié)束后，啟動(dòng)編制的Python 程序，讀取圖像中的字符信息，根據(jù)識(shí)別出的診斷性文字在數(shù)據(jù)庫(kù)中檢索相應(yīng)的報(bào)告模板，若包含測(cè)量數(shù)據(jù)，則將測(cè)量數(shù)據(jù)插入報(bào)告模板的相應(yīng)位置，生成報(bào)告處理指令行，然后根據(jù)各項(xiàng)報(bào)告處理指令行自動(dòng)化生成報(bào)告，通過(guò)接口輸出至超聲圖文報(bào)告系統(tǒng)中。采集的圖像及處理流程示例見(jiàn)圖3～4。

圖3 采集的圖像

圖4 處理流程示例

2 應(yīng)用效果

2.1 報(bào)告選取

選取我院超聲診斷科2022 年1 月17—21 日（5 個(gè)工作日）完成的361 例超聲檢查評(píng)價(jià)本研究超聲報(bào)告自動(dòng)生成方法的應(yīng)用效果。其中，心臟檢查198 例（心臟超聲、左心功能測(cè)定各99 例），腹部超聲檢查72 例，血管超聲檢查50 例，其他超聲檢查41 例。

2.2 評(píng)價(jià)方法

同一名超聲醫(yī)師在完成檢查后分別以手工處理（超聲醫(yī)師通過(guò)工作站中已設(shè)定常用報(bào)告模板、輸入法中已定義常用語(yǔ)句及詞組編寫報(bào)告）和自動(dòng)化處理2 種方法生成超聲報(bào)告，并比較兩種報(bào)告處理方法的生成報(bào)告時(shí)長(zhǎng)及點(diǎn)擊次數(shù)。此外，隨機(jī)選取其中的36 份超聲檢查結(jié)果，以采集圖像上的字符為參照，分析自動(dòng)化處理方法的字符識(shí)別正確率。

2.3 統(tǒng)計(jì)學(xué)處理

采用SPSS 18.0 統(tǒng)計(jì)軟件進(jìn)行數(shù)據(jù)分析。計(jì)量資料以±s表示，采用t檢驗(yàn)。P<0.05 為差異有統(tǒng)計(jì)學(xué)意義。

2.4 結(jié)果

2.4.1 兩種報(bào)告處理方法的生成報(bào)告時(shí)長(zhǎng)及點(diǎn)擊次數(shù)比較

自動(dòng)化處理方法的報(bào)告時(shí)長(zhǎng)短于手工處理方法，點(diǎn)擊次數(shù)少于手工處理方法，差異均有統(tǒng)計(jì)學(xué)意義（P<0.05），見(jiàn)表1。

表1 兩種報(bào)告處理方法的生成報(bào)告時(shí)長(zhǎng)及點(diǎn)擊次數(shù)比較（±s，361 例）

表1 兩種報(bào)告處理方法的生成報(bào)告時(shí)長(zhǎng)及點(diǎn)擊次數(shù)比較（±s，361 例）

報(bào)告處理方法 報(bào)告時(shí)長(zhǎng)（s） 點(diǎn)擊次數(shù)（次）手工 49.40±45.90 57.63±66.17自動(dòng)化 24.25±37.98 21.23±45.30 t 14.47 15.64 P<0.01 <0.01

2.4.2 字符識(shí)別正確率

36 例超聲檢查圖像中，使用光學(xué)字符識(shí)別技術(shù)識(shí)別出感興趣區(qū)字符3 875 個(gè)，正確3 875 個(gè)，錯(cuò)誤0 個(gè)，識(shí)別正確率為100%。

3 討論

人工智能是在計(jì)算機(jī)科學(xué)、控制論、信息論、神經(jīng)心理學(xué)、哲學(xué)、語(yǔ)言學(xué)等多學(xué)科基礎(chǔ)上發(fā)展而來(lái)的一門綜合性較強(qiáng)的交叉學(xué)科，涉及新思想、新觀念、新理論、新技術(shù)[4-7]。近年來(lái)，人工智能發(fā)展迅速，已在醫(yī)學(xué)領(lǐng)域得到了廣泛應(yīng)用，如輔助讀片系統(tǒng)、醫(yī)學(xué)專家系統(tǒng)、計(jì)算機(jī)輔助藥物設(shè)計(jì)及醫(yī)學(xué)機(jī)器人等。光學(xué)字符識(shí)別是一種電子字符識(shí)別技術(shù)，為人工智能在計(jì)算機(jī)視覺(jué)領(lǐng)域的重要應(yīng)用之一。該技術(shù)利用光學(xué)和計(jì)算機(jī)技術(shù)通過(guò)檢測(cè)字符每個(gè)像素的暗、亮模式確定其形狀，然后用字符識(shí)別方法將形狀翻譯為計(jì)算機(jī)文字[8]。Tesseract 是一款由惠普實(shí)驗(yàn)室開(kāi)發(fā)，谷歌公司維護(hù)的開(kāi)源光學(xué)字符識(shí)別引擎，其是少有的支持漢字識(shí)別的開(kāi)源庫(kù)[9]。Tesseract 從4.0 版本開(kāi)始采用了基于Long Short Term Memory（LSTM 網(wǎng)絡(luò)）的識(shí)別引擎，用戶可通過(guò)不斷訓(xùn)練自己的數(shù)據(jù)庫(kù)，使圖像轉(zhuǎn)換為文本的能力不斷增強(qiáng)。

超聲報(bào)告用于描述超聲檢查的結(jié)果，可為醫(yī)師診斷及治療疾病提供重要依據(jù)。目前，超聲報(bào)告從手工編寫階段步入了計(jì)算機(jī)編寫階段，編寫逐漸規(guī)范、快捷，但由于超聲報(bào)告較復(fù)雜，常規(guī)計(jì)算機(jī)編寫報(bào)告方式仍需耗費(fèi)超聲醫(yī)師大量時(shí)間和精力，且易出現(xiàn)錯(cuò)誤。因此，自動(dòng)生成超聲報(bào)告的技術(shù)受到了廣泛關(guān)注。

現(xiàn)階段，語(yǔ)音識(shí)別及光學(xué)字符識(shí)別是超聲報(bào)告自動(dòng)化生成中常采用的2 種技術(shù)。語(yǔ)音識(shí)別技術(shù)發(fā)展較早，在實(shí)際應(yīng)用時(shí)暴露出以下缺點(diǎn)：（1）識(shí)別準(zhǔn)確率暫未達(dá)到95% 的預(yù)期效果；（2）環(huán)境噪聲對(duì)識(shí)別準(zhǔn)確率影響較大[10-11]；（3）需再次單獨(dú)使用語(yǔ)音重復(fù)測(cè)量數(shù)據(jù)，費(fèi)時(shí)費(fèi)力；（4）醫(yī)師的語(yǔ)音內(nèi)容被患者聽(tīng)到后可能會(huì)使其產(chǎn)生誤解。而光學(xué)字符識(shí)別技術(shù)發(fā)展亦較為成熟，若采集到的圖像分辨率較高，字符為規(guī)則字體，則可高效、準(zhǔn)確識(shí)別。若采集到的圖像不清晰，會(huì)影響識(shí)別正確率，需對(duì)圖像進(jìn)行處理，以提高正確率。此外，還可建立字符識(shí)別庫(kù)，并對(duì)識(shí)別過(guò)程進(jìn)行訓(xùn)練，隨著訓(xùn)練樣本量的增加，正確率也會(huì)逐漸提高。與語(yǔ)音識(shí)別技術(shù)比較，光學(xué)字符識(shí)別技術(shù)具有以下優(yōu)點(diǎn)：（1）準(zhǔn)確率較高，一般可接近100%；（2）使用簡(jiǎn)單、便捷，只需安裝Tesseract 即可；（3）不受超聲檢查環(huán)境影響；（4）對(duì)于測(cè)量數(shù)據(jù)的識(shí)別，可以直接得到結(jié)果；（5）不會(huì)對(duì)患者造成影響。

本研究應(yīng)用效果顯示，自動(dòng)化處理方法的報(bào)告時(shí)長(zhǎng)短于手工處理方法，點(diǎn)擊次數(shù)少于手工處理方法，且識(shí)別正確率為100%。與手工處理方法比較，以5 個(gè)工作日為計(jì)算單位，自動(dòng)化處理方法節(jié)省了50.9%的超聲報(bào)告編寫時(shí)間（9 079 s，即2.52 h，平均每天可節(jié)省0.50 h），減少了63.2%的報(bào)告編寫工作量。

本研究改進(jìn)的基于光學(xué)字符識(shí)別技術(shù)的超聲報(bào)告自動(dòng)化生成方法仍存在以下問(wèn)題：（1）不同廠家、型號(hào)超聲診斷儀測(cè)量數(shù)據(jù)及注釋的顯示方式各不相同，不同醫(yī)院采用的超聲報(bào)告系統(tǒng)各異，本方法需具備一定計(jì)算機(jī)基礎(chǔ)的醫(yī)師或?qū)I(yè)的計(jì)算機(jī)工作人員對(duì)超聲診斷儀及超聲圖像報(bào)告系統(tǒng)進(jìn)行適配后才可使用，推廣受限，但其適配過(guò)程并不復(fù)雜；（2）部分超聲診斷儀無(wú)觸摸屏，或有觸摸屏但不便設(shè)置觸摸屏上的注釋，可通過(guò)平板電腦解決此問(wèn)題，該方法在本項(xiàng)目后期已得到實(shí)現(xiàn)，且效果很好；（3）部分報(bào)告無(wú)法完全自動(dòng)化生成，需輔以手工編寫方法完成，造成該問(wèn)題的主要原因?yàn)橛|摸屏設(shè)置及報(bào)告模板不完善，可予以改進(jìn)。

綜上所述，使用光學(xué)字符識(shí)別技術(shù)獲取超聲圖像中的字符信息，可完成超聲報(bào)告自動(dòng)化編寫工作，減少超聲醫(yī)師工作量，提高工作效率。若計(jì)算機(jī)專業(yè)相關(guān)人員共同參與超聲報(bào)告自動(dòng)化生成技術(shù)的改進(jìn)，該項(xiàng)技術(shù)可更加完善，或?qū)⑷〈晥?bào)告助理的相關(guān)工作。