一種醫(yī)療票據(jù)圖像數(shù)據(jù)結(jié)構(gòu)化方法及系統(tǒng)

黃葉玨 褚一平

摘? 要： 提出一種醫(yī)療票據(jù)圖像數(shù)據(jù)結(jié)構(gòu)化方法，針對醫(yī)療票據(jù)圖像，設(shè)計了紅章去除、文字定位、文字識別和費用明細項目數(shù)據(jù)結(jié)構(gòu)化等方法。在此基礎(chǔ)上，設(shè)計了一套醫(yī)保零星報銷系統(tǒng)，實現(xiàn)醫(yī)療票據(jù)從圖像掃描、OCR識別、醫(yī)保目錄匹配到數(shù)據(jù)入庫自動化操作。經(jīng)多個省市使用，累計處理10萬份票據(jù)，使用該系統(tǒng)后報銷票據(jù)每份處理時間由原先的2小時縮短到15分鐘。

關(guān)鍵詞： 醫(yī)療票據(jù)圖像； 紅章去除； 文字定位； 文字識別

中圖分類號：TP391? ? ? ? ? 文獻標識碼：A? ? 文章編號：1006-8228（2023）05-99-04

Data structuring method and system for medical bill image

Huang Yejue1， Chu Yiping2

（1. Zhejiang Institute of Economics and Trade， Hangzhou， Zhejiang 310018， China; 2. Hangzhou Mass Information Technology Co.， Ltd）

Abstract： In this paper， we propose a medical bill image data structuring method， which is designed for medical bill images， including red stamp removal， character positioning， character recognition and expense item data structuring. Based on this， a medical insurance sporadic reimbursement system is designed to realize automated operation of medical bills such as image scanning， OCR recognition， medical insurance catalog matching and data warehousing. It has been used in many provinces and cities， and 100，000 bills have been processed in total. The processing time of each reimbursement bill has been shortened from 2 hours to 15 minutes after using this system.

Key words： medical bill image; red stamp removal; character positioning; character recognition

0 引言

我國在跨地區(qū)就醫(yī)的事情上，要實現(xiàn)異地醫(yī)保直接結(jié)算還需要走較長的路?，F(xiàn)今，異地就醫(yī)的醫(yī)保結(jié)算流程由患者先提交醫(yī)保經(jīng)辦部門相關(guān)報銷憑證，醫(yī)保經(jīng)辦人員人工審核費用明細項目，確定各項報銷比例，并按報銷大類名稱錄入到系統(tǒng)中。由于報銷時費用明細眾多，花費時間巨大，手工計算又容易產(chǎn)生錯誤，所以醫(yī)保主管部門開始要求把費用明細項目也錄入到系統(tǒng)中，把報銷流程制度化、系統(tǒng)化和透明化，以減少出錯概率。但是如此多的費用明細錄入到系統(tǒng)中，目前的人手根本無法用手工完成。

光學字符識別（OCR）技術(shù)是圖像處理領(lǐng)域中一項歷史悠久的技術(shù)，近幾年隨著深度學習技術(shù)的發(fā)展，OCR技術(shù)獲得了長足的進步，不但識別準確率大幅提高，而且對各種環(huán)境的應(yīng)用能力也大大增強。采用OCR技術(shù)替代人工對醫(yī)療票據(jù)圖像中的費用明細進行錄入，可以大大減輕工作量，提高錄入效率。由于醫(yī)療票據(jù)圖像存在一定的特殊性，采用通用的OCR引擎無法取得高識別準確率。本文提出了一種醫(yī)療票據(jù)圖像數(shù)據(jù)結(jié)構(gòu)化方法，針對醫(yī)療票據(jù)圖像進行專門的優(yōu)化，實現(xiàn)對醫(yī)療票據(jù)圖像數(shù)據(jù)的檢測、識別和版面結(jié)構(gòu)化，使得結(jié)構(gòu)化的費用明細數(shù)據(jù)項可以直接入庫。

本文提出的醫(yī)療票據(jù)圖像數(shù)據(jù)結(jié)構(gòu)化方法的貢獻如下：①針對醫(yī)療票據(jù)圖像中存在印章，影響文字的檢測和識別效果，提出了一種紅章去除方法；②針對醫(yī)療票據(jù)中大量存在容易漏檢的短數(shù)字問題，提出一種改進的方法；③針對通過OCR不能很好識別醫(yī)療票據(jù)中醫(yī)學術(shù)語的問題，通過構(gòu)造專門的數(shù)據(jù)集對模型進行微調(diào)；④針對醫(yī)療票據(jù)數(shù)據(jù)，提出了一種版面結(jié)構(gòu)化方法，提取費用明細中項目名稱、數(shù)量、單價和金額這些結(jié)構(gòu)化的數(shù)據(jù)。

1 醫(yī)療票據(jù)圖像數(shù)據(jù)結(jié)構(gòu)化方法

醫(yī)療票據(jù)圖像數(shù)據(jù)的結(jié)構(gòu)化方法由圖像預(yù)處理、文字檢測、文字識別和費用明細結(jié)構(gòu)化四個部分組成。

1.1 醫(yī)療票據(jù)圖像中的紅章去除方法

很多醫(yī)療票據(jù)都有紅章，而且這些紅章一般會蓋在文字上。如果不對醫(yī)療票據(jù)圖像中的紅章進行處理，會影響OCR識別效果。醫(yī)療票據(jù)圖像中文字一般呈黑色或者深色，而紅章是鮮艷的紅色。觀察圖像紅色通道上的直方圖可以發(fā)現(xiàn)，圖像中的常規(guī)文字信息與紅章信息分布直方圖的兩端，所以可以通過分割的方法把紅章去除。令[H]為醫(yī)療票據(jù)圖像紅色通道的直方圖，對應(yīng)的累積直方圖可以通過下式計算：

[Γi=Γi-1+Hi]? ⑴

其中，[Γ0=0]，[0≤i≤255]。接著可以在累積直方圖[Γ]上搜索分割的閾值：

[th=argmin Γi+1-Γi-1]? ⑵

得到分割閾值[th]之后，則逐像素掃描醫(yī)療票據(jù)圖像，如果當前像素的紅色分量值大于閾值[th]，則令該像素的三通道分量都為255。處理完所有像素之后，即可得到去除紅章的醫(yī)療票據(jù)圖像（圖1）。

1.2 醫(yī)療票據(jù)圖像文字定位方法

醫(yī)療票據(jù)中，版面上會出現(xiàn)很多單個字符，比如數(shù)量那一列中，存在很多單獨的“1”。考慮到標注成本，目前通用的OCR商業(yè)引擎都采用單詞級別文字定位方法[1，2]。但是這些單詞級別文字定位方法對醫(yī)療票據(jù)中單獨數(shù)字的漏檢率非常高。為了解決這個問題，本文設(shè)計了一種基于字符級別的文字定位方法。受字符文字定位方法CRAFT算法[3]的啟發(fā)，采用高斯熱力圖來表示單個字符的標簽。為了提高運行速度采用MobileNetV3網(wǎng)絡(luò)[4]作為模型的編碼網(wǎng)絡(luò)，解碼網(wǎng)絡(luò)由4層解碼模塊組成，每層解碼模塊先對上一層解碼模塊的輸出作線性插值進行上采樣，再和同一層的編碼網(wǎng)絡(luò)的輸出進行通道合并，再把合并的結(jié)果輸入到由兩個卷積層構(gòu)成的卷積模塊中，其輸出作為該層解碼模塊的輸出。模型采用平方損失函數(shù)進行訓練。

由于醫(yī)療票據(jù)圖像中單個字符在圖像尺寸上的占比很小，精確標注圖像中的每一個字符給標注人員帶來很大麻煩。為了解決該問題，編寫腳本工具把醫(yī)療票據(jù)圖像等分成16個圖像塊，標注人員在每個圖像塊上對每個字符進行標注，標注完成之后又通過腳本代碼把16塊的標注合成到一起。復核人員通過腳本工具把標注結(jié)果生成高斯熱力圖繪制到醫(yī)療票據(jù)圖像全圖上，以檢查標注是否準確。大約標注了3萬張各類醫(yī)療票據(jù)圖像，利用這些數(shù)據(jù)對模型進行訓練，獲得了預(yù)期的效果（圖2）。

1.3 醫(yī)療票據(jù)圖像文字識別方法

由于各地醫(yī)院打印設(shè)備各不相同，醫(yī)療票據(jù)圖像上的文字質(zhì)量參差不齊，而且費用明細項目中存在很多醫(yī)學藥學專用術(shù)語，通用OCR的識別效果不是很理想。本文的文字識別模型采用典型的CRNN算法[5]，主干網(wǎng)絡(luò)采用Resnet18網(wǎng)絡(luò)結(jié)構(gòu)[6]。先在通用文字識別數(shù)據(jù)集上進行訓練，直至收斂，得到通用文字識別模型[ma]。

收集大約20萬張不同類型的醫(yī)療票據(jù)圖像，先用本文的文字定位方法進行文字定位，根據(jù)文字的外接包圍盒把文字切成圖像塊，并等比縮放到高度為32的圖像塊中。把該圖像塊輸入到文字識別模型[ma]，得到識別結(jié)果。根據(jù)識別結(jié)果中判斷每個字符的識別置信度是否大于85%，如果是，則把該圖像塊和對應(yīng)識別結(jié)果歸入數(shù)據(jù)集[A]中；否則把該圖像塊歸入數(shù)據(jù)集[B]中。用人工對數(shù)據(jù)集[B]進行標注，得到數(shù)據(jù)集[C]，合并數(shù)據(jù)集[A]和數(shù)據(jù)集[C]，得到最終的訓練數(shù)據(jù)集[D]。

凍結(jié)識別模型[ma]的主干網(wǎng)絡(luò)參數(shù)，在訓練數(shù)據(jù)集[D]上對識別模型[ma]以較小的學習率進行微調(diào)，直至收斂，得到醫(yī)療票據(jù)圖像文字識別[mb]。

1.4 醫(yī)療票據(jù)圖像數(shù)據(jù)結(jié)構(gòu)化方法

醫(yī)療票據(jù)圖像數(shù)據(jù)結(jié)構(gòu)化需要提取圖像中每項費用的“項目名稱”、“單價”、“數(shù)量”和“金額”，以便后繼的醫(yī)保目錄匹配和報銷比例的計算。通過觀察可以發(fā)現(xiàn)，“項目名稱”以中文字符為主要構(gòu)成，而后三項以字符為0～9的數(shù)字、小數(shù)點和逗號分隔符構(gòu)成。構(gòu)建一張與醫(yī)療票據(jù)圖像同大小的字符類型掩碼圖像[M]，并把所有像素值初始化為0。如圖3，根據(jù)文字識別結(jié)果的UTF-8編碼判斷字符類型，如果屬于中文，則在掩碼圖像[M]中把該字符外接包圍內(nèi)的所有像素值置為128；如果字符屬于中文0～9的數(shù)字、小數(shù)點或者逗號，則在掩碼圖像[M]中把該字符外接包圍內(nèi)的所有像素值置為255。

對掩碼圖像[M]作垂直投影，統(tǒng)計每列中像素值為128的像素個數(shù)，得到中文像素直方圖[HC]。計算直方圖[HC]極大值[mv]以及其下標[mx]，令搜索閾值[t=mv/5]，從下標[mx]開始分別向兩端搜索直方圖[HC]，當[HC]的元素值小于閾值[t]時停止，則可以得到左邊界的下標[hl]和右邊界的下標[hr]。區(qū)間[[hl，hr]]即為“項目名稱”的左右邊界，在識別的文字內(nèi)容中，搜索該區(qū)間內(nèi)的關(guān)鍵字“項目名稱”，可以得到上邊界。按類似的方式，可以得到“單價”、“數(shù)量”和“金額”的左右邊界和上邊界。

對掩碼圖像[M]作水平投影，統(tǒng)計每行中像素值不為0的像素個數(shù)，得到中文像素直方圖[HZ]。按閾值[t=5]，可以把每行文字切分開來，結(jié)合上一步切分得到的列邊界結(jié)果，就可以逐行提取“項目名稱”、“單價”、“數(shù)量”和“金額”的內(nèi)容，實現(xiàn)數(shù)據(jù)結(jié)構(gòu)化。

2 醫(yī)療票據(jù)圖像數(shù)據(jù)結(jié)構(gòu)化應(yīng)用系統(tǒng)

基于醫(yī)療票據(jù)圖像數(shù)據(jù)結(jié)構(gòu)化方法為核心，結(jié)合當前醫(yī)保經(jīng)辦部門的需求，設(shè)計開發(fā)了一套醫(yī)保零星報銷系統(tǒng)。該系統(tǒng)由業(yè)務(wù)受理、掃描票據(jù)、票據(jù)識別、結(jié)構(gòu)化數(shù)據(jù)、醫(yī)保目錄匹配、人工審核和生成報銷清單等7個業(yè)務(wù)流程模塊組成。系統(tǒng)可以實現(xiàn)從醫(yī)保核心業(yè)務(wù)系統(tǒng)中接受患者報銷材料開始，輔助經(jīng)辦人員完成醫(yī)療票據(jù)的掃描、自動實現(xiàn)醫(yī)療票據(jù)識別和數(shù)據(jù)結(jié)構(gòu)化、自動實現(xiàn)醫(yī)保目錄匹配和報銷費用的清算、輔助審核人員對結(jié)果審核，最終生成報銷清單，上傳到醫(yī)保核心業(yè)務(wù)系統(tǒng)中。

該系統(tǒng)已在浙江、廣西、山西、湖北、黑龍江、四川、陜西和天津等省市中使用（試用），據(jù)后臺數(shù)統(tǒng)計，至今年以來已完成醫(yī)療票據(jù)約10萬份。據(jù)山西某地市醫(yī)保經(jīng)辦人員統(tǒng)計，使用該系統(tǒng)后每份報銷單的處理時間由2小時降低到15分鐘，大大提高了業(yè)務(wù)處理的效率。報銷系統(tǒng)界面如圖4所示。

3 結(jié)論

本文提出了一種醫(yī)療票據(jù)圖像結(jié)構(gòu)化方法，針對醫(yī)療票據(jù)圖像的特點，分別設(shè)計了醫(yī)療票據(jù)圖像預(yù)處理模塊、文字定位模塊、文字識別模塊和數(shù)據(jù)結(jié)構(gòu)化模塊。根據(jù)異地醫(yī)保報銷的現(xiàn)狀，設(shè)計了一套醫(yī)保零星報銷系統(tǒng)，把本文的方法應(yīng)用于該系統(tǒng)中，經(jīng)多個省市使用（試用）反饋，取得了良好效果，大大節(jié)省了報銷處理時間。

雖然系統(tǒng)已經(jīng)取得了很好結(jié)果，但目前設(shè)計的流程是處于醫(yī)療票據(jù)圖像質(zhì)量可控的環(huán)境下，即醫(yī)療票據(jù)圖像要求經(jīng)辦人員使用高速掃描儀進行掃描獲得，這就要求報銷人報銷時需跑一次經(jīng)辦窗口，只能實現(xiàn)“最多跑一次”的目標。下一步，需要對醫(yī)療票據(jù)圖像質(zhì)量檢測和多視角校正方法進行研究，以便報銷人員可以通過手機拍攝醫(yī)療票據(jù)圖像數(shù)據(jù)并提交，以實現(xiàn)“零跑路”的目標。

參考文獻（References）：

[1] Minghui Liao， Zhaoyi Wan， Cong Yao， et al. Real-time

Scene Text Detection with Differentiable Binarization.AAAI，2020

[2] Liao， Minghui and Zou， Zhisheng and Wan， Zhaoyi and

Yao， Cong and Bai.Real-Time Scene Text Detection with Differentiable Binarization and Adaptive Scale Fusion.IEEE Transactions on Pattern Analysis and Machine Intelligence，2022

[3] Youngmin Baek， Bado Lee， Dongyoon Han， et al.

Character region awareness for text detection. IEEE/CVF Conference on Computer Vision and Pattern Recognition，2019

[4] Andrew Howard， Mark Sandler， Grace Chu， et al.

Searching for MobileNetV3. IEEE/CVF International Conference on Computer Vision （ICCV），2019

[5] Baoguang Shi， Xiang Bai， Cong Yao. An End-to-End

Trainable Neural Network for Image-Based Sequence Recognition and Its Application to Scene Text Recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（11）：2298-2304

[6] Kaiming He， Xiangyu Zhang， Shaoqing Ren， et al.

Deep Residual Learning for Image Recognition.IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2016