基于機(jī)器視覺的壓電噴墨墨滴識(shí)別新方法＊

劉清濤 騫 滿 呂景祥 宋佳瑤

（長安大學(xué)道路施工技術(shù)與裝備教育部重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710064）

壓電噴墨是電子增材制造噴墨沉積直寫的一種，由于其打印圖形精度高、適用材料范圍廣而被廣泛使用。在噴墨過程中，經(jīng)常會(huì)因?yàn)榱慵b配的誤差、噴頭的安裝位置偏差以及溫度和控制器的原因造成噴墨的墨滴偏離正常狀態(tài)，而墨滴的狀態(tài)對(duì)于電路板的質(zhì)量有著至關(guān)重要的作用，墨滴狀態(tài)異常會(huì)造成打印的電路板無法使用。因此，有必要對(duì)墨滴進(jìn)行實(shí)時(shí)狀態(tài)監(jiān)測，及時(shí)發(fā)現(xiàn)噴墨異常并進(jìn)行維修。

近年來，對(duì)于運(yùn)動(dòng)物體的跟蹤觀測，國內(nèi)外大多采用全局曝光（global shutter）[1-3]的方式，即通過整幅場景在同一時(shí)間曝光，傳感器的所有像素點(diǎn)同時(shí)收集光線。郭會(huì)文等[4]針對(duì)全局曝光方式下動(dòng)態(tài)背景運(yùn)動(dòng)目標(biāo)設(shè)計(jì)了一種基于三維背景運(yùn)動(dòng)估計(jì)的算法，利用移動(dòng)相機(jī)的拍攝特性，實(shí)現(xiàn)動(dòng)態(tài)背景下運(yùn)動(dòng)目標(biāo)抓取。劉彥飛等[5]提出自適應(yīng)光斑中心算法,對(duì)精密系統(tǒng)跟蹤觀測進(jìn)行了探索，但是該方案主要用于光通信高頻拍攝。全局曝光受限于機(jī)械極限存在最小曝光時(shí)間，不適合墨滴觀測領(lǐng)域的應(yīng)用。

關(guān)于視覺測量領(lǐng)域，機(jī)械零件測量研究[6]已積累較多成果。Zhang X L 等[7]設(shè)計(jì)了小型工件高精度圖像測量系統(tǒng)，可以成功地實(shí)現(xiàn)高效率和高精度的小工件尺寸測量；王緯國等[8]基于機(jī)器視覺搭建了一套針對(duì)某型地平表指針指示誤差參數(shù)的非接觸尺寸測試系統(tǒng)，實(shí)現(xiàn)了地平表零位誤差和地平線穩(wěn)定性的測試；劉陽等[9]針對(duì)某微型產(chǎn)品圓形插孔保持力自動(dòng)測量需求，提出一種圓孔識(shí)別定位視覺技術(shù)以適應(yīng)任意規(guī)格產(chǎn)品的柔性測量；黨長營等[10]利用亞像素邊緣檢測算法計(jì)算了雙金屬鑄件圓孔的內(nèi)外圓半徑和同心度；彭晶鑫等[11]基于機(jī)器視覺設(shè)計(jì)了一套零件圓心距在線測量系統(tǒng)，精度可達(dá)0.01 mm；劉凌霄等[12]基于改進(jìn)亞像素算法對(duì)彈簧內(nèi)外徑尺寸進(jìn)行計(jì)算。目前，對(duì)墨滴觀測的研究還相對(duì)較少，本文將視覺測量方法引入到墨滴觀測研究領(lǐng)域，從而為提高電子電路3D 打印質(zhì)量提供技術(shù)支持。

1 噴頭的結(jié)構(gòu)及工作原理

噴頭結(jié)構(gòu)如圖1 所示，當(dāng)出現(xiàn)電壓差時(shí)，在內(nèi)部電極和外部電極之間產(chǎn)生電場，使得壓電元件徑向膨脹，或者根據(jù)電壓極性變化，徑向收縮。壓電元件變形僅在有兩個(gè)電極的部分發(fā)生，在沒有電極的區(qū)域不產(chǎn)生電場。最簡單的驅(qū)動(dòng)信號(hào)由一個(gè)梯形波組成，每當(dāng)需要產(chǎn)生一個(gè)液滴時(shí)，梯形波加載到一個(gè)電極上，而另一個(gè)電極接地。在電壓上升期間，管狀PZT 的圓周變大的同時(shí)也變得更薄更短。這種快速形變通過環(huán)氧樹脂粘合劑傳遞到玻璃管，導(dǎo)致玻璃內(nèi)表面向外運(yùn)動(dòng)，使其產(chǎn)生負(fù)壓（相對(duì)于平衡狀態(tài)）。負(fù)壓以聲速在液體中沿著玻璃管行進(jìn)，通過擴(kuò)展聲波的方式到孔口和供液端。

圖1 壓電噴頭結(jié)構(gòu)

氣壓平衡條件下，在噴口處液滴形成的順序如圖2 所示：液體沖到噴口處（第1 個(gè)狀態(tài)）。在第2 個(gè)狀態(tài)中，液體在平衡位置并有些收縮，這表明膨脹波已經(jīng)到達(dá)了噴口處。第3 個(gè)狀態(tài)是壓縮波到達(dá)噴口處使液體噴出的狀態(tài)。后一個(gè)膨脹波到達(dá)噴口處將液體回拉（狀態(tài)4 和狀態(tài)5）使其斷開并離開噴口（狀態(tài)6）。噴射的液體由于表面張力形成球形液滴（狀態(tài)7）。

圖2 液滴形成順序

正常情況下墨滴的噴墨情況如圖2 所示，墨滴的大小均勻、圓度高，且連續(xù)噴墨時(shí)墨滴之間的的連貫性很高。如果噴頭放歪或者噴頭出現(xiàn)彎曲的情況，會(huì)造成墨滴的運(yùn)動(dòng)軌跡出現(xiàn)一定的角度偏移，當(dāng)噴頭的角度發(fā)生偏移后，會(huì)對(duì)成品的形狀、直線度以及電阻造成影響；當(dāng)噴頭出現(xiàn)輕微堵塞時(shí)，可以檢測出墨滴半徑或上一個(gè)液滴與下一個(gè)液滴的間距，以此可以判斷出液滴的情況；當(dāng)噴頭出現(xiàn)嚴(yán)重堵塞時(shí)，相機(jī)拍到的圖片上會(huì)無液滴或偶爾出現(xiàn)液滴的情況；如果施加給噴頭的驅(qū)動(dòng)信號(hào)出現(xiàn)錯(cuò)誤，此時(shí)在相機(jī)拍攝的圖片上會(huì)出現(xiàn)液滴噴出情況紊亂的情況。如果噴頭壓力和頻率出現(xiàn)問題，會(huì)出現(xiàn)衛(wèi)星墨滴的情況。接下來，基于機(jī)器視覺提出了一種墨滴直徑測量方法，并將比對(duì)結(jié)果應(yīng)用于衛(wèi)星墨滴觀測，驗(yàn)證本文研究結(jié)果的可行性。

2 基于改進(jìn)的邊緣最小二乘擬合法的液滴觀測

本文以墨滴為研究對(duì)象，采用CCD 相機(jī)進(jìn)行圖像獲取，墨滴觀測流程如圖3 所示。

圖3 墨滴測量流程

2.1 圖像獲取

獲取圖像是實(shí)驗(yàn)的前提，本文設(shè)計(jì)了一套墨滴觀測系統(tǒng)，用于獲取清晰的圖像。

2.2 圖像預(yù)處理

首先采用7×7 的矩陣對(duì)圖像進(jìn)行低通濾波，獲得濾波后的圖像灰度值mean，根據(jù)原圖灰度值orig與mean，由公式（1）計(jì)算得到新的灰度圖像值。

F為對(duì)比度增加的系數(shù)，且灰度值的溢出和下溢會(huì)被裁剪掉。增強(qiáng)后的效果圖如圖4 所示。

圖4 圖像增強(qiáng)效果圖

然后進(jìn)行圖像平滑處理。圖像平滑的主要目的是減小噪聲，通過對(duì)均值濾波、中值濾波、高斯濾波和導(dǎo)向?yàn)V波進(jìn)行實(shí)驗(yàn)比較，效果圖如圖5 所示，通過比對(duì)，可以發(fā)現(xiàn)中值濾波和導(dǎo)向?yàn)V波的效果最好，本文采用導(dǎo)向?yàn)V波進(jìn)行平滑。

圖5 不同方法的濾波效果對(duì)比

2.3 特征提取

這一步的目的是從圖片中提取提取液滴輪廓，進(jìn)行半徑、圓度和面積計(jì)算。首先使用動(dòng)態(tài)局部閾值分割算法，將墨滴區(qū)域從背景中提取出來，該算法采用差分的思想對(duì)圖像進(jìn)行處理，若圖像OrigImage 與對(duì)比圖像ThresholdImage 滿足公式（2），則將該區(qū)域提取出來，經(jīng)過對(duì)圖像的灰度值進(jìn)行對(duì)比，Offset值為5 時(shí)提取到的圖像最為完美，可以將墨滴區(qū)域提取出來，所生成的圖像為二值圖像，提取出的墨滴區(qū)域像素點(diǎn)灰度值標(biāo)記為255[13]。

式中：OrigImage為原始的灰度圖像，ThresholdImage為經(jīng)過濾波后再進(jìn)行圖像增強(qiáng)的對(duì)比圖像，Offset為原始圖像與對(duì)比圖像的像素值偏移量。

然后對(duì)分割后的圖像進(jìn)行連通域分析和形態(tài)學(xué)處理。首先對(duì)圖像進(jìn)行開運(yùn)算，去除圖像中的毛刺、噪點(diǎn)、斷開細(xì)窄的連通。但是會(huì)造成液滴邊緣處的部分像素點(diǎn)缺失，因此在進(jìn)行開運(yùn)算之后再進(jìn)行閉運(yùn)算，添補(bǔ)因開運(yùn)算造成的液滴邊緣點(diǎn)的缺失。為了消除背景干擾，對(duì)填充后的連通域，根據(jù)包含像素點(diǎn)的個(gè)數(shù)進(jìn)行形狀特征篩選，通過面積和圓度特征提取出液滴，如圖6 所示。同時(shí)為了驗(yàn)證方法的可行性和準(zhǔn)確性，對(duì)多幅實(shí)驗(yàn)圖像進(jìn)行上述處理，處理后得到的墨滴區(qū)域圖7 所示。

圖6 提取墨滴區(qū)域

圖7 墨滴區(qū)域提取驗(yàn)證

2.4 改進(jìn)的邊緣最小二乘擬合法

邊緣最小二乘擬合法是基于邊緣檢測進(jìn)行計(jì)算的，首先使用Canny 邊緣檢測算法[14]提取像素級(jí)邊緣，然后通過定位精度高的二次曲線擬合得到亞像素級(jí)邊緣,采用亞像素細(xì)分技術(shù)來提高測量系統(tǒng)的測量精度[15]。但是Canny 邊緣檢測算法需要邊緣處的灰度變化明顯，為增強(qiáng)檢測效果，本文設(shè)計(jì)了一種新算法get_circle_contour 采集邊緣，該算法流程圖如圖8，原理如下：

圖8 算法流程圖

由于圖6 所得的區(qū)域僅僅只包含墨滴，像素變化不明顯，如果此時(shí)使用Canny 邊緣檢測算法，無法提取墨滴的邊緣，為了完整提取墨滴邊緣，算法首先對(duì)圖6 得到的區(qū)域使用最小外接圓擬合法得到半徑R初，接著使用area_center 取得圖6 區(qū)域的中心點(diǎn)（x,y）；然后以（x,y）為中心、R初+3 為半徑畫圓，可以獲得帶有墨滴邊緣的有效區(qū)域，縮放原來定義域至圓所在的區(qū)域，此時(shí)即可以提取邊緣，且干擾很少。

墨滴邊緣圖見圖9。接著對(duì)連通域進(jìn)行輪廓擬合，在此過程中，提取到的墨滴區(qū)域的邊緣對(duì)象多且有部分無用邊緣，如圖9a 所示。為了去除無用邊緣，同時(shí)為了避免出現(xiàn)因邊緣長度差別不大而去掉有效長度的情況，對(duì)算法進(jìn)一步改進(jìn)：首先，計(jì)算邊緣的長度數(shù)組，再算出長度數(shù)組的平均值和方差，之后加入判定條件，若方差大于2，說明邊緣長度差異大，將利用長度特征將長度小于0.6 倍平均值的邊緣濾掉，若邊緣方差小于2，則不用過濾邊緣；接著使用segment_contours_xld 將邊緣輪廓分割為圓弧，此時(shí)，圓的輪廓已經(jīng)比較明顯，最后進(jìn)行相鄰輪廓合并操作，即可提取出一個(gè)完整的輪廓邊緣，如圖9b 所示。

圖9 墨滴邊緣圖

得到墨滴的邊緣后，接著選用fit_circle_contour_xld()算子所帶的最小二乘算法對(duì)圓弧的亞像素特征信息進(jìn)行擬合。通過最小二乘法擬合圓，就可以得出圓的半徑。

3 實(shí)驗(yàn)驗(yàn)證

3.1 實(shí)驗(yàn)驗(yàn)證

原始的墨滴視覺檢測通常是通過人工操作的方法，需要利用標(biāo)尺和顯微鏡來觀察墨滴的噴射過程。存在很大的誤差。而本文采用分辨率為1 440×1 080的CCD 相機(jī)，搭配6.3×的變倍鏡頭，該鏡頭遠(yuǎn)心光路設(shè)計(jì)，光學(xué)放大倍率為0.7～4.5×，變倍比6.5:1；LED 光源可以使目標(biāo)信息與背景信息得到很好的分離，大大降低后續(xù)圖像處理算法分割、識(shí)別的難度，同時(shí)還能提高系統(tǒng)的定位、測量精度，使測量系統(tǒng)的可靠性和綜合性能得到提升[16]，故本文選取了LED 燈作為光源。

為了將相機(jī)、鏡頭和光源組合起來，同時(shí)保證成像能夠穩(wěn)定、清晰，本文設(shè)計(jì)了一套簡易的機(jī)械結(jié)構(gòu)，如圖10 所示，能夠?qū)⑾鄼C(jī)、鏡頭和光源的中心處于同軸，調(diào)節(jié)微調(diào)平臺(tái)可以改變鏡頭與光源的距離，從而保證鏡頭的工作距離，拍出清晰的圖片。為了驗(yàn)證方法的可行性和準(zhǔn)確性，在對(duì)墨滴進(jìn)行觀測前，先對(duì)一根直徑1 毫米的鋼針進(jìn)行測量，拍攝的圖片如圖11 所示，經(jīng)過對(duì)鋼針圖片的處理和測量，程序得到鋼針的直徑為1 014.79 μm，實(shí)驗(yàn)證明，實(shí)驗(yàn)平臺(tái)拍攝的圖片清晰，實(shí)驗(yàn)結(jié)果準(zhǔn)確性極高。

圖10 實(shí)驗(yàn)平臺(tái)

圖11 直徑1 mm 鋼針

同時(shí)，為了體現(xiàn)本文所用方法的優(yōu)劣性，本實(shí)驗(yàn)還采用了另外2 種方法進(jìn)行比較，其一是區(qū)域外接圓法，即對(duì)提取出的墨滴區(qū)域進(jìn)行最小外接圓擬合；其二是邊緣最小外接圓法，即對(duì)提取到的邊緣進(jìn)行最小外接圓擬合。本文利用這3 種方法，對(duì)4個(gè)墨滴，進(jìn)行了20 組實(shí)驗(yàn)，如圖12 所示，得到的墨滴半徑平均值如表1 所示。

圖12 墨滴圖

表1 基于三種方法的半徑面積

傳統(tǒng)的墨滴觀測方法使用光學(xué)顯微鏡，精度在1 μm，且價(jià)格昂貴，無法做到實(shí)時(shí)檢測。而通過本文方法，利用工業(yè)相機(jī)得到的數(shù)據(jù)精度可達(dá)到0.000 1 μm，精度遠(yuǎn)遠(yuǎn)高于光學(xué)顯微鏡。

由于噴口半徑為20 μm，噴口直徑誤差在±1 μm，且墨水具有黏性，會(huì)造成能量損失，故正常墨滴半徑在19 μm 左右波動(dòng)。從圖13 可以看出，區(qū)域最小外接圓擬合法得到的半徑波動(dòng)范圍較大，數(shù)據(jù)梯度較大，這是因?yàn)閰^(qū)域最小外接圓擬合法的精度只能達(dá)到像素級(jí)，且對(duì)于提取到的墨滴區(qū)域要求嚴(yán)格，會(huì)存在墨滴部分區(qū)域像素點(diǎn)缺失和誤認(rèn)的情況，會(huì)對(duì)結(jié)果造成誤差。該方法誤差來源于圖片的拍攝清晰度和光源等情況，誤差來源多，所以區(qū)域最小外接圓擬合法結(jié)果不夠精確。而邊緣最小二乘擬合法和邊緣最小外接圓擬合法使用了亞像素級(jí)的輪廓，精度高于像素級(jí)。為了比較出這兩種方法的優(yōu)劣，本文對(duì)這兩種方法進(jìn)行誤差分析，原理如式3 所示。

圖13 墨滴半徑數(shù)據(jù)圖

其中：（x1，y1）為墨滴輪廓線上點(diǎn)，（x2，y2）是以所求半徑所畫的標(biāo)準(zhǔn)圓上的點(diǎn)，數(shù)據(jù)如表2 所示。

表2 誤差比對(duì)分析

通過對(duì)比誤差，邊緣最小二乘擬合法的誤差更小，而誤差的減小可以更加精確地得到墨滴的半徑，可以滿足更高要求的場所，對(duì)工程應(yīng)用有著更大的價(jià)值。

3.2 衛(wèi)星墨滴分析

衛(wèi)星液滴是由自由液流過長的尾部碎裂而成的，其體積一般極小，難以觀測。通過對(duì)墨滴半徑的實(shí)時(shí)監(jiān)測能及時(shí)發(fā)現(xiàn)衛(wèi)星墨滴的出現(xiàn)，減小次品率。圖14 為經(jīng)過圖像處理之后得到的墨滴區(qū)域；衛(wèi)星液滴的存在，會(huì)在基板上造成不必要的雜點(diǎn)，降低了打印的精確性和解析度。本文采用3 種方法對(duì)衛(wèi)星液滴進(jìn)行觀測，獲取的墨滴半徑如表3 所示。

圖14 衛(wèi)星墨滴區(qū)域提取

表3 衛(wèi)星墨滴半徑

表3 分析了時(shí)刻T1和T2出現(xiàn)衛(wèi)星墨滴時(shí)的墨滴半徑，從表中看出基于改進(jìn)的邊緣最小二乘法得到的數(shù)據(jù)最穩(wěn)定，再次證明了本文所提方法的可行性。同時(shí)，發(fā)現(xiàn)最小的衛(wèi)星墨滴的半徑會(huì)出現(xiàn)小于0.6 倍的正常墨滴半徑，且由于墨滴半徑的減小，會(huì)造成墨滴的勢能減小，影響到墨滴的速度，造成墨滴落點(diǎn)位置出現(xiàn)偏差，因此會(huì)在基板上造成缺陷。因此，基于本文方法可有效監(jiān)控發(fā)現(xiàn)衛(wèi)星墨滴的存在，對(duì)于提高打印精度具有重要意義。

4 結(jié)語

基于機(jī)器視覺對(duì)電子打印壓電噴墨墨滴進(jìn)行監(jiān)測研究，設(shè)計(jì)了一種改進(jìn)的邊緣最小二乘擬合法計(jì)算墨滴半徑，通過與區(qū)域最小外接圓法和邊緣最小外接圓擬合法進(jìn)行對(duì)比分析，驗(yàn)證了本文所提方法的可行性?；诟倪M(jìn)的邊緣最小二乘擬合法獲取的墨滴半徑精度最高，誤差小,非常適合墨滴觀測，特別是能夠有效監(jiān)測衛(wèi)星墨滴，對(duì)于提高電子打印精度具有重要意義。