一種曲面藥瓶標(biāo)簽校驗(yàn)方法關(guān)鍵技術(shù)*

許 會(huì)， 劉慧芳， 陸 昊， 車(chē)新生

(沈陽(yáng)工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院， 沈陽(yáng) 110870)

靜脈滴注類(lèi)藥品配藥是醫(yī)用輸液的重要組成部分，現(xiàn)如今大部分靜脈配液還是由醫(yī)護(hù)人員人工完成，不可避免造成時(shí)間與人力資源上的浪費(fèi)[1-2].嚴(yán)格執(zhí)行查對(duì)制度、遵守?zé)o菌操作規(guī)程是每一位醫(yī)護(hù)人員在配藥過(guò)程中必須遵守的準(zhǔn)則，但是長(zhǎng)期配藥會(huì)對(duì)配藥人員肌肉骨骼產(chǎn)生損傷[3].藥瓶標(biāo)簽關(guān)鍵信息不便查找，配藥過(guò)程還是通過(guò)護(hù)士反復(fù)核查藥品名等信息，這些問(wèn)題無(wú)疑給配藥工作人員帶來(lái)很大麻煩[4].目前針對(duì)藥瓶標(biāo)簽自動(dòng)校驗(yàn)的文獻(xiàn)[5]未能解決畸變校正問(wèn)題，標(biāo)簽旋轉(zhuǎn)不同角度后校驗(yàn)的匹配率會(huì)下降，損失了標(biāo)簽名稱(chēng)等一部分重要信息；文獻(xiàn)[6]中字符識(shí)別的畸變字符校正算法側(cè)重于對(duì)字符的定位，沒(méi)有實(shí)現(xiàn)藥瓶標(biāo)簽的自動(dòng)識(shí)別.鑒于上述情況，本文提出了基于全景拼接技術(shù)的藥瓶標(biāo)簽校驗(yàn)方法.全景拼接技術(shù)[7]主要應(yīng)用于外場(chǎng)景、寬角度場(chǎng)景，應(yīng)用到靜脈滴注類(lèi)藥瓶標(biāo)簽的識(shí)別需要先對(duì)藥瓶標(biāo)簽進(jìn)行畸變校正才能實(shí)現(xiàn)圖像的拼接.文獻(xiàn)[8]利用PDF417碼本身具有的列分割線特征對(duì)條碼分割后進(jìn)行局部校正，此方法利用透視變換算法，不能對(duì)扭曲劇烈的條碼進(jìn)行信息還原.本文標(biāo)簽字符分割、識(shí)別算法參考文獻(xiàn)[9]，本文設(shè)計(jì)算法可對(duì)有傾斜角度的藥瓶標(biāo)簽圖像進(jìn)行識(shí)別，并對(duì)發(fā)生畸變的圖像進(jìn)行校正.

1 藥瓶標(biāo)簽校驗(yàn)算法設(shè)計(jì)

由于采集設(shè)備視角小，采集的圖像不能包含標(biāo)簽名稱(chēng)等完整有效信息，鏡頭采集的藥瓶標(biāo)簽會(huì)發(fā)生畸變.本文主要從以下幾個(gè)方面進(jìn)行研究：

1) 藥瓶標(biāo)簽畸變校正算法設(shè)計(jì)；

2) 藥瓶名稱(chēng)字符分割算法設(shè)計(jì)；

3) 藥瓶名稱(chēng)識(shí)別算法設(shè)計(jì).

1.1 藥瓶標(biāo)簽畸變校正算法設(shè)計(jì)

對(duì)于發(fā)生畸變的曲面藥瓶標(biāo)簽圖像，它們之間不是線性對(duì)應(yīng)關(guān)系，直接用于識(shí)別會(huì)引起偏差，故需要對(duì)采集的藥瓶標(biāo)簽圖像進(jìn)行畸變校正.本文畸變校正算法需要經(jīng)過(guò)圖像灰度化、Canny算法邊緣檢測(cè)、霍夫變換檢測(cè)垂直直線、圖像分割等圖像預(yù)處理操作，隨后使用柱面反投影算法對(duì)分割后的藥瓶標(biāo)簽進(jìn)行畸變校正.

1.1.1 柱面反投影算法原理

在同一視點(diǎn)O將圖像投影到柱面切平面上的原理圖如圖1所示.圖1a為柱面標(biāo)簽投影關(guān)系，柱面A′B′C′D′投影到切平面ABCD上；圖1b為柱面上任意一點(diǎn)P′投影到切平面x方向的映射關(guān)系.

首先建立理想的投影模型，圖1b假設(shè)圓柱面A′B′為半圓，焦距ON=R，中心點(diǎn)為O，曲面圖像上任意一點(diǎn)P′投影到平面圖像上的P點(diǎn)(x方向即由P′所對(duì)應(yīng)的弧長(zhǎng)投影到平面PN的長(zhǎng)度)，OP與ON間的夾角θ.柱面標(biāo)簽投影到切平面x方向映射關(guān)系表達(dá)式為

(1)

式中，x′為P′點(diǎn)對(duì)應(yīng)的弧長(zhǎng).

柱面切平面y方向與柱面y方向(即柱面標(biāo)簽?zāi)妇€方向)相同，得出柱面反投影表達(dá)式為

(2)

式中，y′為柱面的母線長(zhǎng).

在圖1b中，根據(jù)式(2)首先求出A′投影到平面時(shí)的x方向長(zhǎng)度.在此OA′的長(zhǎng)度可從圖像中獲得，令OA′等于弧長(zhǎng)l，根據(jù)式(1)求出此段弧長(zhǎng)所對(duì)應(yīng)的θ值，從而計(jì)算出變換后的邊界x值，遍歷圖像所有像素點(diǎn)得到變換后圖像的所有x值.變化后的平面圖像x方向?qū)挾葧?huì)明顯增加，從而出現(xiàn)像素的缺損，在柱面圖像中無(wú)法找到對(duì)應(yīng)的像素點(diǎn)，采用最近鄰插值對(duì)缺損的圖像進(jìn)行插值，從而在x方向畸變字符得到了非線性校正.

1.1.2 二次校正算法原理

圖2 二次校正模型Fig.2 Secondary correction model

根據(jù)圖2建立關(guān)系式為

(3)

(x，y)為弧面上任意一點(diǎn)的坐標(biāo)，變化后的坐標(biāo)為(x_t，y_t)，dOE和dOF大小由實(shí)驗(yàn)圖像獲得.

1.2 藥瓶標(biāo)簽字符分割算法設(shè)計(jì)

通過(guò)SIFT圖像拼接后，解決了視角小等問(wèn)題，得到了有完整藥品名標(biāo)簽圖像.通過(guò)圖像二值化、圖像形態(tài)學(xué)、圖像濾波等預(yù)處理提取標(biāo)簽藥品名圖像.藥品名是由一個(gè)或者多個(gè)連通域組成的，本文使用基于連通域的字符切分技術(shù)對(duì)藥品名字符進(jìn)行切分.

根據(jù)連通域?qū)D像進(jìn)行粗切分，再進(jìn)行連通域的合并和粘連字符連通域的切分，基于字符字型特點(diǎn)，連通域可能會(huì)有上下關(guān)系、左右關(guān)系、重疊關(guān)系等.圖3是存在重疊關(guān)系的連通域C(i)和C(j)，(Li，Ui)是連通域C(i)外接矩形的左上角坐標(biāo)，(Rj，Dj)是連通域C(j)外接矩形的右下角坐標(biāo).

圖3 連通域外接矩形的重疊關(guān)系Fig.3 Overlapping relationship of circumscribed rectangles outside connected domains

各標(biāo)記定義如下：

連通域的寬W(Ci)=Ri-Li；

連通域的高H(Ci)=Di-Ui；

連通域的寬高比Ratio(Ci)=W(Ci)/H(Ci)；

合并后的寬Uw(Ci，Cj)=max(Ri，Rj)-min(Li，Lj)；

合并后的高Uh(Ci，Cj)=max(Di，Dj)-min(Ui，Uj)；

合并后的寬高比

URatio(Ci，Cj)=Uw(Ci，Cj)/Uh(Ci，Cj)；

重疊的寬度

Ow(Ci，Cj)=W(Ci)+W(Cj)-Uw(Ci，Cj)；

重疊的高度

Oh(Ci，Cj)=H(Ci)+H(Cj)-Uh(Ci，Cj).

以上定義的連通域單位都是基于像素點(diǎn)個(gè)數(shù).定量化分析連通域的合并關(guān)系、粘連字符的重疊關(guān)系能夠得到正確的切分字符.此方法簡(jiǎn)單快速，很好地滿足了本文藥瓶標(biāo)簽字符的分割要求.

1.3 藥瓶標(biāo)簽字符識(shí)別算法設(shè)計(jì)

對(duì)于藥瓶標(biāo)簽名稱(chēng)切分字符的識(shí)別，設(shè)計(jì)了一種特征矩陣求取算法，以二值圖像像素為基礎(chǔ)，求出分割字符和模板字符的相似度矩陣，再求出特征矩陣的相似度來(lái)匹配圖像.特征矩陣的求法為選定單位面積、統(tǒng)計(jì)分割字符和模板字符的單位面積黑色像素點(diǎn)數(shù)、字符圖像的特征矩陣為黑色像素點(diǎn)的總和，特征矩陣的相似度依據(jù)余弦相似度原理來(lái)計(jì)算.假設(shè)n個(gè)分割字符圖像特征分別由m1，m2，…，mn來(lái)表示，n個(gè)模板字符特征分別由t1，t2，…，tn來(lái)表示，相似度的計(jì)算公式為

(4)

2 藥瓶標(biāo)簽校驗(yàn)算法實(shí)現(xiàn)

2.1 藥瓶標(biāo)簽拼接算法實(shí)現(xiàn)

采集有重疊區(qū)域(重疊區(qū)域大于1/3)的3組不同角度的藥瓶標(biāo)簽圖像注射用奧美拉唑鈉如圖4所示.

圖4中定義3組圖分別為目標(biāo)1、目標(biāo)2、目標(biāo)3.圖5是采用霍夫變換對(duì)傾斜角度圖像進(jìn)行校正，目標(biāo)1校正角度為1°，目標(biāo)2校正角度為1°，目標(biāo)3校正角度為5°.

對(duì)3組圖預(yù)處理分割后，按照上述反投影算法對(duì)水平方向的畸變進(jìn)行校正，焦距設(shè)為像素矩陣列寬的1/2，即標(biāo)簽圖像校正中心在圖1b的O點(diǎn)處，結(jié)果如圖6所示.

圖4 鏡頭采集原圖Fig.4 Original images collected by camera

圖5 傾斜校正圖Fig.5 Images after tilt correction

圖6 柱面反投影圖Fig.6 Images after cylindrical reverse projection

從圖6可以看出標(biāo)簽邊緣壓縮的字符得到了校正，越是靠近邊緣拉伸越寬.對(duì)圖6采用二次校正模型進(jìn)行校正，結(jié)果如圖7所示.在圖7中dOF取圖像行寬的一半，dEF由圖像彎曲的程度計(jì)算得知.由圖7可見(jiàn)，圖像在y軸方向得到了校正，藥品標(biāo)簽名稱(chēng)基本上在同一水平線上，利于后續(xù)藥品標(biāo)簽名的提取.

圖7 二次校正圖Fig.7 Images after secondary correction

經(jīng)過(guò)柱面反投影即一次校正，二次校正后對(duì)展開(kāi)的圖像進(jìn)行拼接，目標(biāo)1校正圖和目標(biāo)3的校正圖相似，并且目標(biāo)1校正后的圖像彎曲度比目標(biāo)3的大，由于篇幅的限制，在此取更有代表性的目標(biāo)1校正圖與目標(biāo)2校正圖進(jìn)行拼接.本文從3個(gè)方面試驗(yàn)校正算法對(duì)拼接的影響，組別1依次經(jīng)過(guò)一次校正后拼接，驗(yàn)證了一次校正對(duì)拼接的影響，拼接后的二次校正是為了易于標(biāo)簽名稱(chēng)的提取.同理組別2驗(yàn)證了兩次校正對(duì)拼接影響，組別3驗(yàn)證了拼接后的二次校正對(duì)標(biāo)簽提取識(shí)別的影響.

3個(gè)組別的圖像拼接結(jié)果如圖8所示，從圖8中可以看出，本文拼接算法能很好實(shí)現(xiàn)藥瓶標(biāo)簽的拼配，經(jīng)過(guò)兩次校正后再拼接的標(biāo)簽展平效果好于一次校正后拼接的藥瓶標(biāo)簽.

2.2 藥瓶標(biāo)簽校驗(yàn)算法實(shí)現(xiàn)

分別從圖8a、b、c提取藥品名稱(chēng)有效區(qū)域如圖9所示.

對(duì)圖9中經(jīng)過(guò)預(yù)處理的圖像進(jìn)行字符切分，藥品名字符分割圖如圖10所示.圖10中，藥品名字符得到正確切分.字符分割后需要與模板字符進(jìn)行匹配，需要提前做出模板字符庫(kù)，圖11為藥瓶標(biāo)簽注射用奧美拉唑鈉的部分模板庫(kù)圖像.

圖8 不同處理后的圖像拼接圖Fig.8 Stitched images after different processes

圖9 藥品名有效區(qū)域Fig.9 Effective area of medicine name

圖10 藥品名分割圖Fig.10 Segmented images of medicine name

圖11 模板字符Fig.11 Template characters

在此階段，分割字符和模板字符像素統(tǒng)一調(diào)整為42*24，選取單位面積大小為2*2.匹配過(guò)程包括讀取樣本模板庫(kù)，計(jì)算特征矩陣，計(jì)算相似度矩陣，若相似度矩陣最大值大于0.85，顯示識(shí)別結(jié)果.

在這個(gè)階段分割字符分別與所有模板字符進(jìn)行匹配，如分割字符“注”與模板中的字符“注”、“射”、“用”、“奧”、“美”、“拉”、“唑”、“鈉”依次匹配，計(jì)算出相似度矩陣最大值.其他字符依次進(jìn)行匹配，得到所有字符的相似度矩陣最大值，如表1所示.

表1 分割字符與模板字符匹配相似度矩陣最大值

Tab.1 Maximum similarity matrix values matching segmentation characters with template characters

字符相似度矩陣最大值組別1組別2組別3注0.92290.93040.9330射0.92850.95840.9634用0.87920.92910.9486奧0.90710.94410.9499美0.89830.94680.9556拉0.85600.91260.9242唑0.91070.93380.9598鈉0.92760.96700.9519

從表1中可以看出組別2和組別3的分割字符與模板字符匹配的相似度矩陣最大值大于組別1，組別3的識(shí)別率略大于組別2.

3 結(jié) 論

本文重點(diǎn)研究了曲面畸變校正問(wèn)題，藥瓶標(biāo)簽經(jīng)過(guò)一次校正和二次校正展開(kāi)了曲面圖像邊緣壓縮字符.經(jīng)過(guò)圖像拼接解決了視角小，缺失圖像重要信息等問(wèn)題.經(jīng)過(guò)校正和拼接得到了包含完整藥瓶標(biāo)簽信息的平面展開(kāi)圖像.通過(guò)一次校正和二次校正后拼接的圖像字符識(shí)別率高于一次校正后拼接的圖像，即曲面圖像展平效果越好，字符的識(shí)別率越高.