基于機(jī)器視覺的檢測技術(shù)在接種儀的應(yīng)用研究

劉聰，侯劍平，趙萬里，王馳，馬海偉

安圖實(shí)驗(yàn)儀器（鄭州）有限公司，河南 鄭州 450016

引言

隨著現(xiàn)代醫(yī)學(xué)技術(shù)水平的發(fā)展，越來越多的科技成果正不斷地被快速迭代，并應(yīng)用于臨床檢驗(yàn)醫(yī)學(xué)。近年來，臨床微生物檢測技術(shù)也得到了飛速的發(fā)展，已經(jīng)達(dá)到了既能準(zhǔn)確地分離出病原菌，又能快速向臨床報道結(jié)果的發(fā)展方向[1‐2]。

由于機(jī)器視覺系統(tǒng)具有非接觸性、速度快、柔性好等突出優(yōu)點(diǎn)，在現(xiàn)代制造業(yè)中有著重要的應(yīng)用前景。萬子平等[3]應(yīng)用圖像處理的方式成功的測量了零件的尺寸；仲月嬌等[4]應(yīng)用基于非下采樣輪廓波的亞像素角點(diǎn)提取算法測量了塑料螺母對邊長和對角長亞像素距離；吳智峰等[5]主要介紹使用機(jī)器視覺非接觸測量外螺紋尺寸系統(tǒng)；韓偉聰?shù)萚6]將機(jī)器視覺技術(shù)應(yīng)用在了竹材的尺寸測量中；戴知圣等[7]運(yùn)用圖像處理實(shí)現(xiàn)了手機(jī)U盤芯片長度和偏角的非接觸式測量；Rahimi‐Ajdadi等[8]將機(jī)器視覺技術(shù)應(yīng)用于土壤含水量的測量中；Ding等[9]應(yīng)用機(jī)器視覺技術(shù)對此畸變量進(jìn)行測量；Khalili等[10]將機(jī)器視覺技術(shù)應(yīng)用于裂紋幾何參數(shù)的測量中；Podr?aj等[11]提出一種新穎的具有較高的精確性測量方法，極大地提高了生產(chǎn)效率和檢測精度。

平板劃線接種[12‐14]是將細(xì)菌分離培養(yǎng)的常用技術(shù)，目的是使混有多種細(xì)菌的培養(yǎng)物形成單個菌落或分離出單一菌株，以便于識別和鑒定。目前的微生物實(shí)驗(yàn)室大都使用手動的方式進(jìn)行平板劃線接種，這種方式主要有以下缺點(diǎn)：① 接種環(huán)人工接種法為主，防護(hù)等級要求高，生物危害大；② 受操作者個人水平和接種習(xí)慣的影響，主觀影響因素較多，重復(fù)性差；③ 經(jīng)典的細(xì)菌接種方法工作效率低，難以進(jìn)行標(biāo)準(zhǔn)化和實(shí)施質(zhì)量控制；④ 無法滿足現(xiàn)代化實(shí)驗(yàn)室對自動化、標(biāo)準(zhǔn)化的要求。

實(shí)現(xiàn)平板接種的全自動化具有非常實(shí)用的價值和意義，不僅可以解放更多的人力，而且可以提高接種效率，使接種更加標(biāo)準(zhǔn)化，為了提高全自動平板接種儀平板劃線的可靠性與穩(wěn)定性，論文詳細(xì)分析了平板接種在實(shí)現(xiàn)全自動化的過程中遇到的關(guān)鍵性誤差問題，研究出了一種基于機(jī)器視覺的接種移液器吸頭（Pipette Tip，TIP）的高度檢測系統(tǒng)如圖1所示。

圖1 接種儀平板劃線過程與接種平板

1 儀器誤差結(jié)構(gòu)分析與方法

1.1 儀器誤差結(jié)構(gòu)分析

安圖生物公司通過對自研接種儀機(jī)械結(jié)構(gòu)的分析，構(gòu)建出高度計算模型，并根據(jù)模型，計算出各個分量的構(gòu)成，從而調(diào)整精準(zhǔn)控制整個運(yùn)動系統(tǒng)，滿足實(shí)際需求。

接種儀接種的核心高度控制所面臨的主要問題：如果TIP距離瓊脂表面過高，TIP的運(yùn)動將無法在接種平板瓊脂表面均勻劃線，相反，如果高度太低，TIP容易扎入瓊脂表面導(dǎo)致吐樣時TIP管堵塞如圖2所示。因此需要精確的算出TIP頭距離接種平板的高度，才能讓后續(xù)的高度控制得到保障，經(jīng)過驗(yàn)證，劃線距離平板瓊脂高度為0.5 mm，誤差范圍需要保證在±0.2 mm以內(nèi)。

圖2 由于誤差導(dǎo)致的失敗接種樣本

通過對整體誤差模型的分析發(fā)現(xiàn)，誤差主要存在于兩個模塊如圖3所示，雖然機(jī)械控制TIP的位置每次都會到固定位置，但是由于TIP本身存在誤差如表1，針對廠家生產(chǎn)的不同型號的TIP分別進(jìn)行了5個批次的測試，原廠盒高度差范圍在0.299～0.494 mm，定制金屬盒高度差范圍在0.237～0.313 mm。分析可知，TIP自身高度誤差大于0.2 mm，為了消除此誤差，設(shè)計了預(yù)設(shè)的校準(zhǔn)臺（超聲波絕對零點(diǎn)平面），通過計算Dtip的高度，并以此來控制TIP自身的高度誤差；由于平板瓊脂表面的不平整導(dǎo)致的誤差dx，通過超聲波測量[14‐17]得到。

圖3 TIP高度控制誤差分析示意圖

表1 TIP高度誤差測試結(jié)果

根據(jù)誤差模型分析，整體誤差主要由以上兩部分組成如式(1)，其中Dtip為TIP尖端到校準(zhǔn)臺的距離，dx為校準(zhǔn)臺到瓊脂表面的距離。通過兩者誤差的累加，得到TIP頭距離平板瓊脂的高度，控制電機(jī)進(jìn)行z軸方向的移動使得TIP頭距離平板瓊脂的高度保持固定，從而保證了高度的精度控制。

在設(shè)計機(jī)器視覺檢測系統(tǒng)前，接種儀僅使用超聲波測量平板瓊脂表面距離超聲波基準(zhǔn)零點(diǎn)的距離而忽視了TIP自身的誤差，整體精度為0.2 mm，這是因?yàn)槌暡z測僅能檢測平板瓊脂高度的不平整導(dǎo)致的誤差，而無法測量TIP自身誤差。通過模型分析，在超聲波測距基礎(chǔ)之上引入視覺，并采用視覺測量計算出TIP頭末端到超聲絕對零點(diǎn)的校準(zhǔn)臺的TIP高度誤差，從而控制了整體系統(tǒng)的誤差，新的設(shè)計使高度檢測精度達(dá)到了0.06 mm，極大地提升了高度的計算精度。

1.2 方法

1.2.1 系統(tǒng)主要功能

針對該需求，公司自主研發(fā)了一套軟硬件系統(tǒng)，用于TIP高度的檢測。軟件系統(tǒng)主要包含以下幾個功能的實(shí)現(xiàn)如圖4所示：① 與下位機(jī)互連；② 對接種TIP頭進(jìn)行拍照；③ 定位出TIP頭所在位置，若沒有檢測到TIP頭，報警返回；④ 定位出校準(zhǔn)臺所在位置，若沒有檢測到校準(zhǔn)臺，報警返回；⑤ 兩者都存在的情況下計算兩者之間的垂直距離；⑥ 將計算的垂直距離換算成實(shí)際距離，發(fā)送給下位機(jī)。硬件系統(tǒng)主要包括：① 光源系統(tǒng)選型與設(shè)計；② 光源系統(tǒng)有效性驗(yàn)證。

圖4 軟件系統(tǒng)流程

1.2.2 圖像TIP高度檢測系統(tǒng)硬件部分設(shè)計

相機(jī)模塊安裝在移液器龍門架上，移液器穿過甲板以吸取樣品。 由一個攝像頭，一對交叉極化濾波器，一個基準(zhǔn)板，一個漫射器和一個LED背光組成。設(shè)計圖像處理的一個關(guān)鍵目標(biāo)是使其保持非常簡單、通用、快速和健壯：① 簡單，因?yàn)樗勾a更易于設(shè)計，測試和維護(hù)；② 通用，以便它可以支持不同的攝像頭，照明和TIP；③ 健壯，以便忽略環(huán)境照明，相機(jī)噪音和模塊中一定程度的污垢的變化；④ 快速，因?yàn)樗幱陉P(guān)鍵路徑上，吞吐量一直是該儀器的主要關(guān)注點(diǎn)。

1.2.3 系統(tǒng)光源設(shè)計

儀器上安裝了大華Technology A3A20CU24 USB攝像頭，用于確定是否存在TIP，計算每個TIP的高度。相機(jī)組件使用帶背光的交叉偏振器，偏振器確保圖像中的TIP將顯示為明亮的物體，并且沒有TIP，背景將非常暗，見圖5。

圖5 帶有交叉偏振光的TIP高度檢

該系統(tǒng)使用帶有交叉偏振器[18]的背光，因此在沒有TIP存在的情況下，相機(jī)看到純黑色區(qū)域，只有受限者可見（受限者是非極化的并且顯示為純白色）。當(dāng)存在塑料TIP時，塑料散射背光的偏振，TIP將作為非常明亮的白色物體顯示給相機(jī)。與沒有極化的系統(tǒng)相比，這會產(chǎn)生非常有利于判別的圖像質(zhì)量。

由于圖像在黑色背景下基本上是白色的，因此對其進(jìn)行閾值處理并獲得精確的結(jié)果是非常簡單的，該結(jié)果在很大程度上不受噪聲和光照變化的影響，并且當(dāng)替換不同的相機(jī)時幾乎不需要改變。

1.2.4 光源系統(tǒng)驗(yàn)證

為了使系統(tǒng)盡可能健壯以及后續(xù)的可擴(kuò)展性，采用“前后”圖像處理方法，即在“吸氣前”捕獲當(dāng)前TIP的圖像；移液器吸取樣品并返回到完全相同的位置，此時捕獲“后”圖像。

從前圖像中減去后圖像，并且以這種方式消除了TIP之間的變化，此時，兩個圖像之間的唯一差異是由于TIP中存在的樣本。處理所得到的“差異”圖像以準(zhǔn)確地確定感興趣區(qū)域中存在多少差異（具有一些噪聲過濾等）并且如果差異超過特定閾值則確定樣本確實(shí)存在。

試配備了一組廣泛變化的樣品用于測試，紅色、綠色和黃色模具（包括形成黃綠色，棕色和橙色的組合）的組合，代表一系列生物學(xué)上可能的顏色。它們以濃縮的形式制備并稀釋100倍。然后通過添加牛奶使所有這些都變得更不透明，以產(chǎn)生不同混濁的樣品，通過不同的組合，共形成了24個實(shí)驗(yàn)樣品。此外，還制備了普通水和兩種稀釋的普通牛奶以及兩個“無樣品”的對照，由于散射和折射略微增加，可以檢測到清晰的樣品。由于通過TIP的光傳輸顯著減少，不透明的樣品非常清楚地顯示出來，半透明樣品也可以很好地顯示，因?yàn)樯⑸湫?yīng)使它們通過交叉偏振器顯得更亮。

通過對圖像的處理檢測不同樣品的TIP區(qū)域內(nèi)的白色像素的百分比，見圖6～8，得出結(jié)論：濃縮樣品通常產(chǎn)40%～60%的白色像素，稀釋樣品產(chǎn)生的白色像素的范圍為15%～25%?？諛颖井a(chǎn)生0%的白色像素。大約5%～10%的閾值分割即可作為可擴(kuò)展的樣品檢測算法，目前測試的樣品具有100%的準(zhǔn)確度，實(shí)驗(yàn)充分驗(yàn)證了光源系統(tǒng)的有效性以及后續(xù)的可擴(kuò)展性，保證了TIP檢測的穩(wěn)定性。

圖6 稀釋和密集的彩色透明樣品

圖7 不透明的樣品，稀釋和濃縮

圖8 水和空杯

1.2.5 距離標(biāo)定

由于電機(jī)行進(jìn)距離是以實(shí)際的距離為判別單位進(jìn)行，因此需要將像素大小與實(shí)際距離進(jìn)行標(biāo)定[19‐20]。由于相機(jī)以平視的角度垂直于接種TIP頭所在平面放置，且每次檢測，下位機(jī)都會控制TIP頭到達(dá)同一平面。因此選擇直接對TIP頭所在平面進(jìn)行距離的校準(zhǔn)，根據(jù)實(shí)際測量物體大小與所占像素進(jìn)行等比換算即為每個像素對應(yīng)的實(shí)際距離。

1.2.6 TIP高度檢測軟件設(shè)計

進(jìn)行切分后的待檢測接種TIP頭圖像如圖9所示。TIP高度的圖像處理算法流程：① 將原始待檢測圖像轉(zhuǎn)為灰度圖像；② 根據(jù)自適應(yīng)閾值化得到對應(yīng)的二值化圖像如圖10所示； ③ 對二值圖像提取連通區(qū)域外輪廓；④ 檢測對應(yīng)輪廓特征，根據(jù)面積與形狀判斷輪廓所屬類型；⑤ 若沒有檢測到對應(yīng)TIP頭或校準(zhǔn)臺，則給下位機(jī)報警。

圖9 原始圖像

圖10 原始圖像二值化

1.2.7 接種TIP與超聲波絕對零點(diǎn)平臺檢測

對灰度圖像進(jìn)行二值化之后，需要進(jìn)行連通區(qū)域檢測，提取輪廓特征。主要提取的特征為輪廓的長寬比與輪廓在圖像中的所占的面積。通過觀察可以發(fā)現(xiàn)，TIP頭的輪廓具有較大的長寬比如式(2)所示，其中ObjboundboxH為檢測對象的高度，ObjboundingboxW為檢測對象的寬度，以及相對較小的占空比如式(3)所示，其中Objarea為檢測對象的面積，Objboundingboxarea為檢測對象的最小外接矩形的面積，而零點(diǎn)平臺輪廓具有較小的長寬比以及相對較大的占空比，根據(jù)輪廓特征，區(qū)分出標(biāo)準(zhǔn)臺與接種TIP頭如圖11所示，若沒有檢測到對應(yīng)兩者，則需向下位機(jī)報警。如果分別對兩者檢測出之后，求出兩者的垂直像素距離，換算為實(shí)際距離，發(fā)送給下位機(jī)，從而使下位機(jī)控制電機(jī)微調(diào)距離進(jìn)行誤差校準(zhǔn)。

圖11 檢測出的TIP與超聲波絕對零點(diǎn)校準(zhǔn)平臺

2 結(jié)果

論文提出了一種基于圖像處理的接種儀TIP高度檢測系統(tǒng)的設(shè)計方案，從硬件選型到算法設(shè)計，具有很強(qiáng)的實(shí)用性。

針對光源有效性設(shè)計方案，選取了4組不同顏色的真實(shí)標(biāo)本進(jìn)行目標(biāo)測試。實(shí)驗(yàn)結(jié)果如圖12所示，針對不同顏色的消化樣本，都可以較容易的定位出TIP頭以及校準(zhǔn)臺，表明了光源設(shè)計與視覺檢測算法的有效性與精確性。

圖12 不同消化液樣本的檢測結(jié)果

針對以上視覺測距方案，利用視覺測距的方式將TIP運(yùn)動至三個固定位置點(diǎn)(高點(diǎn)98000×10‐4mm處、中點(diǎn)65000×10‐4mm 處、低點(diǎn) 32000×10‐4mm 處 )進(jìn)行視覺檢測，統(tǒng)計合計89組數(shù)據(jù)如圖13所示，通過圖示曲線可知，數(shù)據(jù)在比較小的范圍內(nèi)進(jìn)行波動。

圖13 TIP運(yùn)動至三個固定位置點(diǎn)的視覺測量的高度

將89組機(jī)械運(yùn)動數(shù)據(jù)的最值點(diǎn)進(jìn)行篩選及數(shù)據(jù)轉(zhuǎn)換如表2所示，得出最大誤差為613×10‐4mm，遠(yuǎn)小于接種所需要的±0.2 mm范圍內(nèi)的誤差，實(shí)驗(yàn)充分證明了視覺測量方式的有效性。

表2 三個位置的誤差對比（×104 mm）

在設(shè)計平板接種系統(tǒng)中，通過對1042份血平板加樣劃線，嚴(yán)格按照劃線長度符合、均勻加注且加注過程無斷線如圖14所示，其符合個數(shù)為1001，成功率96.07%；沒有出現(xiàn)樣本加注不上的情形，整體系統(tǒng)設(shè)計的有效性達(dá)到100%，大大提高了接種儀的接種成功率，進(jìn)而保證了單菌落分離效果。

圖14 接種成功樣本

3 討論

傳統(tǒng)的手工平板接種采用接種環(huán)來進(jìn)行，不僅操作復(fù)雜，且內(nèi)容繁復(fù)，效率較低，且因操作者的水平不一，直接影響單菌落分離效果。此外當(dāng)前市場上存在的自動化與半自動化的接種儀器，采用了接種環(huán)的方式實(shí)現(xiàn)的平板接種，這種方式存在接種環(huán)重復(fù)使用，如操作不當(dāng)或殺菌不徹底將會導(dǎo)致交叉污染等生物安全風(fēng)險，此外，平板瓊脂的加樣位置具有固定性，不能根據(jù)加樣位置的平板瓊脂表面凹凸?fàn)顟B(tài)進(jìn)行有效調(diào)整，且固定加樣位置會導(dǎo)致加樣位置樣本分配不均勻，不能有效利用平板內(nèi)瓊脂。

本文討論的平板接種方法運(yùn)用機(jī)器視覺技術(shù)，通過誤差模型分析，采用視覺檢測的方式消除了TIP自身的高度誤差，提升了加樣位置的精度，從而使菌落加樣位置可以實(shí)現(xiàn)多樣化與均勻化，進(jìn)而有效保證了接種的效率與成功率，同時更換了傳統(tǒng)的接種環(huán)接種方式，采用了一次性的接種刷進(jìn)行接種，在保證樣本單菌落分離的一致性的同時，也從從根本上解決了交叉污染的風(fēng)險。

4 結(jié)論

論文通過對接種儀誤差模型進(jìn)行分析，創(chuàng)新性的加入視覺模塊進(jìn)行誤差的校正，具有較好的實(shí)用性與創(chuàng)新性，通過設(shè)計針對接種儀誤差模型的分析，分解出各個誤差的類型，并據(jù)此分析分解出誤差各個部分的計算方式，有效提升了接種儀接種的成功率，具有較強(qiáng)的實(shí)用意義，一定程度上加快并標(biāo)準(zhǔn)化了接種微生物實(shí)驗(yàn)室的工作流程，同時研究為同類科室相關(guān)的儀器設(shè)計等提供了一種較為有效誤差的解決方式，具有較好的創(chuàng)新性和參考意義。