基于Mask R-CNN的試管-支架系統(tǒng)Data Matrix碼識別方法

劉石堅,林錦嘉,陳梓燦,鄒崢

(1. 福建省大數(shù)據(jù)挖掘與應(yīng)用技術(shù)重點實驗室,福建 福州 350118;2. 福建師范大學(xué) 計算機與網(wǎng)絡(luò)空間安全學(xué)院,福建 福州 350117)

生物實驗室常需要采集大量樣本,并保存到試管中、放置于支架槽內(nèi)。為方便快速管理和分析,裝有樣本的試管底部往往會印刷一種名為Data Matrix(DM)[1]碼的矩陣式二維碼,作為樣本唯一標(biāo)識。相較其他條碼,DM碼具有尺寸小、存儲信息量大、糾錯能力和抗干擾能力強等特點,被廣泛應(yīng)用于集成電路、機械磨具、精密生物器械等小件物品上。深度學(xué)習(xí)技術(shù)在過去幾年發(fā)展迅速,已被廣泛用于各領(lǐng)域,將其應(yīng)用于DM碼識別和信息讀取,有利于實驗室自動化[2]。

1 相關(guān)工作

DM碼的傳統(tǒng)識別方法主要利用其所具有L形狀幾何邊界的特點來實現(xiàn)。例如,王等人[3]采用Hough變換[4]來實現(xiàn)DM碼的檢測定位。然而在實際應(yīng)用中,輸入數(shù)據(jù)中往往存在多個條碼,且條碼周圍通常存在較多干擾。雖然許多方法[5～6]試圖解決上述問題,但在面對復(fù)雜情況時,方法的穩(wěn)定性仍然難以保證。相較而言,基于深度學(xué)習(xí)的方法因不依賴人工特征,具有更好的準(zhǔn)確性和泛化能力,成為目前的研究趨勢。

1.1 目標(biāo)識別策略

基于深度學(xué)習(xí)的方法在實現(xiàn)條碼定位時可分為目標(biāo)識別策略和實例分割策略。

目標(biāo)識別策略的思路是先通過YOLO[7]、Faster R-CNN[8]等目標(biāo)識別方法找到輸入圖片中包含條碼的局部矩形區(qū)域(即粗定位),再結(jié)合上述傳統(tǒng)方法完成條碼的最終定位。例如,易等人[9]提出一種級聯(lián)多尺度特征融合網(wǎng)絡(luò)快速檢測算法實現(xiàn)對識別物流包裹的條形碼。謝等人[10]基于Faster R-CNN框架提出一種香煙條碼識別方法。針對復(fù)雜背景下的多條碼檢測問題,文獻[11][12]提出不同的基于改進YOLO模型的條碼檢測方法。

1.2 實例分割策略

目標(biāo)識別策略的局限性在于需要兩個階段來實現(xiàn)條碼的定位,其深度學(xué)習(xí)的優(yōu)勢僅體現(xiàn)在第一階段。實例分割策略則直接基于條碼的實例分割結(jié)果進行定位,更簡潔高效。例如,Zharkov等人[13]使用基于實例分割的深度學(xué)習(xí)方法識別一維條形碼。胡等人[14]提出基于SegNet的DM碼定位方法。分割策略的關(guān)鍵問題在于構(gòu)建準(zhǔn)確的分割模型,來獲取可靠的DM碼邊界。

本課題提出的DeepDMCode方法與已有深度學(xué)習(xí)方法的主要差別在于處理對象和應(yīng)用領(lǐng)域的不同。已有相關(guān)研究多處理一維條形碼和QR碼識別,面向多DM碼的文獻較少,討論試管-支架系統(tǒng)中DM碼識別的文獻更加寥寥無幾。其次,本課題雖采用基于Mask R-CNN[15]模型的實例分割路線,但針對提升準(zhǔn)確性所提出的數(shù)據(jù)合成方法、標(biāo)注方法及旋轉(zhuǎn)矯正方法是普適性的策略,與特定分割模型的選取無關(guān)。

2 研究內(nèi)容及挑戰(zhàn)

課題以包含96個試管槽的一套固定支架為環(huán)境,在支架底部放置相機獲取拍攝圖像,以自動識別如圖1所示圖像中所有試管DM碼為研究目標(biāo)。

圖1 試管支架底部成像圖片F(xiàn)ig.1 Image captured at the bottom of a tube rack

DM碼識別具體可分為碼定位(第3章)和矯正解碼(第4章)兩部分,即首先找到DM碼所在位置,然后將其旋轉(zhuǎn)至標(biāo)準(zhǔn)朝向進行解碼。其中碼定位是識別的前提基礎(chǔ),旋轉(zhuǎn)矯正使得通過標(biāo)準(zhǔn)解碼庫實現(xiàn)解碼成為可能。

本課題面臨以下挑戰(zhàn):

(1)DM碼為小目標(biāo)。單個試管DM碼約占整副圖像面積的1/1 200,如圖1所示,定位和識別時容易對誤差敏感。

(2)位置和旋轉(zhuǎn)角度分布不均。如圖1所示,單個DM碼的位置和方向是隨機分布的,這種差異和變化增加碼識別難度。

(3)目標(biāo)邊界模糊。相對如圖2(a)所示的標(biāo)準(zhǔn)DM碼,在實際應(yīng)用中,當(dāng)照片受到光照不均或噪聲影響時,DM碼邊界常常呈現(xiàn)模糊甚至消失的情況,如圖2(b)所示。

圖2 DM碼展示Fig.2 Demonstration of data matrix codes

(4)存在相似性干擾。如圖2(c)所示,在試管槽孔連接處以及鏤空槽孔處存在與DM碼邊界相似的特征,這類相似性干擾會降低識別區(qū)分能力。

(5)數(shù)據(jù)量不足。深度學(xué)習(xí)方法依賴大規(guī)模數(shù)據(jù)進行模型訓(xùn)練,但試管支架圖片數(shù)據(jù)來源有限,且沒有公開的數(shù)據(jù)集作為補充。

本課題以支架試管圖片作為輸入,將單張圖片中多個DM碼作為檢測對象,在無法獲取大量學(xué)習(xí)樣本的前提下,以減少繁瑣的小目標(biāo)手工標(biāo)注和提高識別精度為目標(biāo),實現(xiàn)多目標(biāo)碼的識別。

3 碼字區(qū)域精定位

在DM碼字區(qū)域定位環(huán)節(jié),首先針對訓(xùn)練樣本數(shù)量有限的問題,采用多層隨機方式來生成人工合成數(shù)據(jù),在保證多樣性的前提下,最大程度地擴展數(shù)據(jù)規(guī)模;其次,為解決樣本數(shù)量增加所導(dǎo)致的標(biāo)注工作量劇增問題,使用同步式策略在合成數(shù)據(jù)時同步產(chǎn)生標(biāo)注,提高標(biāo)注效率。

3.1 多重隨機的內(nèi)容差異化數(shù)據(jù)合成

數(shù)據(jù)增強是一種廣泛應(yīng)用于深度學(xué)習(xí)中的技術(shù),旨在提升模型性能[16]。通過對現(xiàn)有訓(xùn)練數(shù)據(jù)進行各種變換和擴充,有效增加樣本的多樣性,從而提供更豐富、更全面的訓(xùn)練數(shù)據(jù)集。傳統(tǒng)數(shù)據(jù)增強方法通常通過圖片翻轉(zhuǎn)、調(diào)整明暗等來擴充數(shù)據(jù),此類調(diào)整屬于淺層調(diào)整,沒有對關(guān)鍵特征即DM碼內(nèi)容進行變換,導(dǎo)致數(shù)據(jù)只是在數(shù)量上增大,而不能在內(nèi)容上進行實質(zhì)性的擴充,無法真正為深度識別提供多樣性。

為了在增加圖片集規(guī)模的同時保證圖片集的差異化和豐富性,本課題提出通過多層隨機構(gòu)建內(nèi)容差異的數(shù)據(jù)增強方案,從光照、位置、內(nèi)容、方向多層次地模擬真實場景,提高識別的魯棒性,降低識別時對位置和數(shù)量因素的敏感性。

3.1.1 合成數(shù)據(jù)背景設(shè)計

合成數(shù)據(jù)可分為含DM碼的試管底部前景數(shù)據(jù)和其余含支架的背景數(shù)據(jù)。可以分別對前景和背景數(shù)據(jù)進行設(shè)計,再將兩者疊加起來生成新的數(shù)據(jù)。

當(dāng)支架未滿載時,光線會穿過未放置試管的孔洞區(qū)域,導(dǎo)致成像光照不均。為模擬和復(fù)現(xiàn)這種真實光照環(huán)境,在背景設(shè)計時,對頂部光源打開狀態(tài)下的全空支架進行成像,獲取背景數(shù)據(jù)(即圖1中沒有試管DM碼時的狀態(tài))。

3.1.2 內(nèi)容差異化的前景設(shè)計

差異化前景試管碼構(gòu)建是數(shù)據(jù)合成的重點部分,本課題對前景從局部到整體進行分層構(gòu)建,即先構(gòu)建單個試管碼單元;后將多個碼單元組成碼目標(biāo)群。因此前景設(shè)計根據(jù)這種層次分為以下幾個階段。

(1)構(gòu)建試管碼單元階段。為保證編碼內(nèi)容多樣性,隨機生8位隨機字符r(C)作為內(nèi)容,其中r均代表隨機生成器,C代表字符,結(jié)合libdmtx庫編碼生成DM碼圖像g,該圖像與圓形試管底部疊加,形成試管碼單元圖片。考慮到實現(xiàn)場景中試管擺放方向完全隨機,因此需要對試管碼單元施加一個隨機旋轉(zhuǎn)角度r(α)如公式(1),進行旋轉(zhuǎn)得到試管碼單元m。

(1)

(2)構(gòu)建碼目標(biāo)群階段。目標(biāo)群設(shè)計主要包含目標(biāo)總數(shù)的設(shè)計和各個目標(biāo)在支架的空間位置設(shè)計。為模擬實際操作中支架上試管數(shù)量和位置會因?qū)嶒炄蝿?wù)不同而存在較大差別,為此針對數(shù)量和位置設(shè)計如下:

首先,為了模擬不同目標(biāo)總數(shù)差異性,假定支架試管總數(shù)設(shè)置為r(N)(1≤r(N)≤N0),值域為1到N0之間,N0為支架能承載的最大試管數(shù),試管總數(shù)用隨機生成器生成,而k個試管對應(yīng)的目標(biāo)單元mj組成的集合M{m1,m2,…,mj,…,mk|k≤r(N)}形成一個目標(biāo)群,其中單元總數(shù)k不超過實際試管總數(shù)r(N);其次,為確保目標(biāo)位置隨機,考慮到支架大小統(tǒng)一,槽孔排列規(guī)則,視覺上類似矩陣,因此為每個目標(biāo)單元mk(xi,yj)生成一個隨機空間位置r(i,j),i和j分別代表mk所在行序號和列序號。這樣目標(biāo)碼群內(nèi)的每個目標(biāo)單元可以隨機獲取一個二維行列位置,分配到具體的槽孔位置。

3.1.3 背景疊加與空間密度模糊

對支架背景和前景進行疊加,即將碼單元圖片在背景圖片中進行逐一對齊,對齊的兩個對象為:碼單元圖片中心點,和被分配槽孔的中心點。假設(shè)第1行第1列試管槽中心點(支架左上角位置)為(x1,y1),則其第i(1

(2)

為模擬真實光照不均造成的圖像模糊,通過統(tǒng)計目標(biāo)群在支架中的分布位置,計算目標(biāo)群放置的空間密度,來設(shè)置相應(yīng)的模糊度。

(1)構(gòu)建n行m列槽孔矩陣G。矩陣元素代表每個槽孔是否放置了試管,元素值為1代表有試管,為0則無試管。

(2)統(tǒng)計槽孔矩陣內(nèi)的試管密度。針對G施加卷積操作?,設(shè)置卷積核h(t×t)大小為t,用卷積核在G中逐行逐列滑動并統(tǒng)計固定區(qū)域內(nèi)放置試管總數(shù),獲得大小為(n-t+1,m-t+1)大小的矩陣結(jié)果。

(3)計算試管空間密度。將結(jié)果展開成一維向量即F向量,分別計算其均值mean(F)和標(biāo)準(zhǔn)差std(F)如公式(3)所示,將標(biāo)準(zhǔn)差除以均值便可以得到試管密度ρ。ρ為大于0小于1的值,數(shù)值越大,代表試管擺放越不均勻,應(yīng)施加的模糊度越高,反之?dāng)?shù)值越小,代表光照越均勻,應(yīng)施加的模糊度越低。

(4)施加模糊效果。使用高斯低通濾波,假設(shè)濾波的截止頻率范圍為(D0,D1),截止頻率是影響模糊關(guān)鍵因子,截止頻率越高,圖片越清晰,因此結(jié)合試管密度,截止頻率應(yīng)設(shè)置為d如公式(3),這樣的設(shè)計根據(jù)實際目標(biāo)群分布,設(shè)置對應(yīng)的模糊度。

(3)

3.2 數(shù)據(jù)同步自動化標(biāo)注

通過多重隨機合成方案能有效擴充訓(xùn)練數(shù)據(jù),但隨之引發(fā)了新增數(shù)據(jù)的標(biāo)注工作量過大的問題。使用人工分割方形碼字區(qū)域(即掩膜)作為標(biāo)注,耗時費力又容易出現(xiàn)差錯。由于合成圖片集的過程,和相關(guān)隨機系數(shù)都是已知,這代表決定碼字區(qū)域的大小、位置、方向都可知,因此可以重用合成流程,共享相關(guān)參數(shù),來生成最終的標(biāo)注,為此提出一種同步自動標(biāo)注方法,生成對應(yīng)的標(biāo)注數(shù)據(jù)。如圖3所示,該流程衍生自合成過程,可分為3部分:構(gòu)建掩膜單元前景、構(gòu)建掩膜群前景、疊加純色背景。

圖3 同步合成與標(biāo)注方法示意圖Fig.3 Demonstration of simultaneous synthesis and annotation method

(1)構(gòu)建掩膜單元。當(dāng)前DM碼單元生成并旋轉(zhuǎn)后,其碼字區(qū)域的尺寸以及旋轉(zhuǎn)角度r(α)便確定。同步生成大小、角度一致的方塊區(qū)域,即掩膜單元圖片。單元圖片中像素值設(shè)為隨機標(biāo)簽值l(1≤l≤255),其余區(qū)域設(shè)置為0。

(2)構(gòu)建掩膜群。為保證標(biāo)注目標(biāo)與合成圖片中的目標(biāo)一致,根據(jù)當(dāng)前圖片合成時的試管總數(shù)r(N),以及碼目標(biāo)群分配的槽孔行列位置r(i,j),同步生成同數(shù)目和分布的掩膜群。

(3)背景疊加。共享合成背景尺寸,但與合成背景不同,創(chuàng)建全0像素圖片即黑色掩膜背景,而非支架背景圖片,按照公式(2)準(zhǔn)確計算槽孔位置,將掩膜圖片疊加至黑色背景上。

圖4展示了使用DeepDMCode法實現(xiàn)的一組合成圖像及其標(biāo)注數(shù)據(jù)樣例。

圖4 使用同步合同與標(biāo)注方法所生成的合成圖像及其同步式標(biāo)注結(jié)果展示Fig.4 Demonstration of the synthesis and annotation result by the proposed method

4 旋轉(zhuǎn)矯正及解碼

旋轉(zhuǎn)矯正的目標(biāo)是將圖5(a)所示的DM碼修正為圖5(b)所示狀態(tài),以便調(diào)用標(biāo)準(zhǔn)解碼庫進行編碼信息的讀取。

圖5 旋轉(zhuǎn)矯正方法示意圖Fig.5 Demonstration of the rotation correction method

具體來說,圖5(a)中彩色掩膜所示為上述方法所得分割結(jié)果,在掩膜圖片中將y值最小點作為角點a:(xa,yb=ymin),以a為原點構(gòu)建坐標(biāo)系,此時DM碼與X軸的夾角為θ可以按照公式(4)計算獲得。根據(jù)得到的角度,以逆時針方向?qū)Υa單元進行旋轉(zhuǎn),即可得到矯正后結(jié)果。最后使用第三方解碼庫,對其進行規(guī)范解碼便可提取最終字符內(nèi)容。

(4)

5 實驗及結(jié)果

實驗均運行于一臺顯卡為NVIDIA GeForce RTX 3060(12 GB),CPU為Intel Core i7-11700(2.50 GHz)的臺式計算機上。輸入數(shù)據(jù)分辨率為1 600×1 200,訓(xùn)練數(shù)據(jù)集包括兩部分:第一類是原始采集圖片集,由uEye UI-3013XC series攝像機拍攝,共516張,使用手工標(biāo)注;第二類是通過2.1節(jié)方法合成的新增數(shù)據(jù),共3 000張,使用2.2節(jié)方法進行自動標(biāo)注。驗證集和測試集均為上述第一類數(shù)據(jù),三者比例約為8∶1∶1。

5.1 檢測結(jié)果

圖6展示為應(yīng)用DeepDMCode進行DM碼精定位的典型結(jié)果,其中各DM碼實例均能夠被正確識別(見圖中彩色掩膜區(qū)域)。

圖6 DeepDMCode的DM碼檢測結(jié)果展示Fig.6 Demonstration of DM code detection result by DeepDMCode

5.2 對比實驗

選擇目前條碼識別主流的3種模型:YOLO[12]、SegNet[14]以及CenterNet[17]和DeepDMCode進行對比。針對碼識別中碼定位和碼內(nèi)容提取兩個階段的結(jié)果進行對比,同時針對本課題數(shù)據(jù)合成模塊設(shè)計消融實驗,來驗證其貢獻。

5.2.1 檢測結(jié)果對比

分別使用3種方法對模糊圖像中的目標(biāo)進行定位,選擇相同局部區(qū)域展示圖片結(jié)果如圖7所示,可見,YOLO無法識別碼的方向,且存在誤檢,將具有相似直角和強邊緣的背景錯認(rèn)為目標(biāo)碼;SegNet檢測到的區(qū)域邊界較粗糙,且大于真實碼區(qū)域范圍;DeepDMCode可較為準(zhǔn)確的檢測出模糊圖片中對象邊界,且不會受到相似性背景干擾,這得益于所提出的同步式差異性數(shù)據(jù)增強方法。

圖7 檢測結(jié)果對比Fig.7 Comparison of detection results

將定位結(jié)果與真實碼字區(qū)域進行對照,使用mIoU[20]作為準(zhǔn)確性指標(biāo),對4種方法進行數(shù)值評估。由于YOLO和CenterNet只適用于粗定位,無法精確反應(yīng)碼字區(qū)域,故用基于L型特征方法進行再處理,保證可比性,結(jié)果如表1所示。DeepDMCode的mIoU值為0.92,優(yōu)于其他3種方法。

表1 準(zhǔn)確性對比Tab.1 Accuracy comparison

5.2.2 DM碼內(nèi)容提取結(jié)果對比

針對3種方法的定位結(jié)果,選擇libdmtx進行解碼,與真實結(jié)果進行對照,分別計算正確率和平均解碼時間兩個指標(biāo),統(tǒng)計結(jié)果如表2所示,DeepDMCode正確率90.8%,平均解碼時間為5.2 s;CenterNet和YOLO目標(biāo)檢測雖然更快,但正確率較低。

表2 DM碼解碼結(jié)果對比Tab.2 Comparison of DM code decoding results

5.2.3 消融實驗

為驗證本課題數(shù)據(jù)集合成模塊對碼定位的貢獻,使用僅改變對比度和明暗的傳統(tǒng)數(shù)據(jù)增強方法進行DM碼定位,與內(nèi)容差異化增強后定位結(jié)果進行對比,計算其mIoU指標(biāo)。從表3中可知,在傳統(tǒng)增強數(shù)據(jù)集上運行結(jié)果的準(zhǔn)確性較Deep-DMCode約低10%,這證明內(nèi)容差異化合成模塊的嵌入,能很好地改善條碼定位結(jié)果,進而提高后續(xù)碼字內(nèi)容提取的精確度。

表3 消融實驗結(jié)果Tab.3 Ablation results

6 結(jié)語

以試管-支架系統(tǒng)作為研究對象,基于分割策略對輸入圖像中的所有DM碼進行定位和旋轉(zhuǎn)矯正,實現(xiàn)編碼信息的讀取。本研究的主要貢獻包括:(1)提出一種多重隨機的內(nèi)容差異化數(shù)據(jù)合成方法DeepDMCode。(2)部分重用合成流程,提出一種同步式的自動標(biāo)注方法,共享隨機參數(shù),提高標(biāo)注效率。(3)利用分割結(jié)果,提出一種旋轉(zhuǎn)矯正方法,使得通過標(biāo)準(zhǔn)解碼庫對DM碼編碼信息進行提取成為可能。實驗表明,該方法能有效克服圖片分辨率低、目標(biāo)數(shù)量和分布不確定、光照條件動態(tài)變化等因素所造成的識別困難,減少不必要的人工干預(yù)。后續(xù)工作將專注于提升方法的速度,以實現(xiàn)DM碼的實時讀取。