基于LDWS視覺(jué)的透明硬塑包裝的糾偏標(biāo)定研究

郭 燕，韓京海

（1.南京科技職業(yè)學(xué)院，南京 210048；2.南京交通職業(yè)技術(shù)學(xué)院，南京 211188）

0 引言

透明硬塑包裝是目前廣泛應(yīng)用的包裝形式［1］，但在生產(chǎn)過(guò)程中經(jīng)常需要調(diào)整到固有的位置以便于加工，而其本身具有的透明性和復(fù)雜的工作環(huán)境常常會(huì)導(dǎo)致難以精確定位，從而無(wú)法有效地實(shí)現(xiàn)高效的自動(dòng)化生產(chǎn)。孫琴等［2］以黑色蒙版為底色，研究了硬塑包裝缺陷具有不同顏色深度的反光特征；KUSANO等［3］以動(dòng)態(tài)化流程中的目標(biāo)鎖定算法，為目標(biāo)物的截取提出了“多分段法”新思路；孫鄭芬等［4］圍繞機(jī)器視覺(jué)技術(shù)在工業(yè)智能化生產(chǎn)中的應(yīng)用進(jìn)行了論述，敘述了MES、PDM以及QMS等技術(shù)特點(diǎn)；傅田［5］基于機(jī)器視覺(jué)開(kāi)展了動(dòng)態(tài)帶式輸送機(jī)糾偏系統(tǒng)設(shè)計(jì)，將跟蹤算法應(yīng)用于煤炭機(jī)械領(lǐng)域；AMIRI等開(kāi)展了群體決策算法研究，提出了ROI目標(biāo)選定新思路［6-7］；譚子會(huì)［8］開(kāi)展了基于雙目視覺(jué)的包裝過(guò)程分揀技術(shù)研究；安偉剛、蘇楷以及FU等針對(duì)不同目標(biāo)特點(diǎn)進(jìn)行多目標(biāo)算法研究［9-11］。但對(duì)于透明硬塑包裝的特征識(shí)別和定位的研究均相對(duì)不足。

本文圍繞某軸承公司包裝生產(chǎn)線而展開(kāi)，每個(gè)塑封包裝可以容納2個(gè)軸承，軸承基于其自身機(jī)械防銹的要求，采用吸油的塑料材質(zhì)作為包裝基材，同時(shí)基于國(guó)家對(duì)包裝材質(zhì)環(huán)保的要求，最終采取聚乙烯無(wú)污染透明塑料。塑料包裝基于自身視覺(jué)上的屬性，相較于其他類型材料的包裝，對(duì)其邊緣進(jìn)行檢測(cè)存在與環(huán)境識(shí)別較難的問(wèn)題。在檢測(cè)方面，硬塑包裝表面的反光特征較難與環(huán)境反光特征進(jìn)行區(qū)別化定位。本文針對(duì)透明硬塑包裝同生產(chǎn)線其他部位相比所表現(xiàn)出反光特征表面差異性，評(píng)價(jià)透明硬塑包裝邊沿的定位精度，在本類型包裝特征識(shí)別的基礎(chǔ)上，開(kāi)展視覺(jué)定位識(shí)別，具有較強(qiáng)的現(xiàn)實(shí)意義。

LDWS機(jī)器視覺(jué)涉及到ROI視圖選取、多闕值特征識(shí)別、RGB灰度處理和雙邊濾波處理4部分，其定位識(shí)別更精準(zhǔn)高效。目前在包裝研發(fā)與設(shè)計(jì)領(lǐng)域，通過(guò)LDWS機(jī)器視覺(jué)來(lái)進(jìn)行透明硬塑包裝的糾偏標(biāo)定還相對(duì)較少。本文基于透明硬塑包裝的糾偏不同標(biāo)定方式，展開(kāi)分析論證，分析歸納透明硬塑包裝在LDWS機(jī)器視覺(jué)過(guò)程中的問(wèn)題難點(diǎn)，采取機(jī)器視覺(jué)設(shè)計(jì)歸納整理出一套具有科學(xué)性的透明硬塑包裝圖像反光特征識(shí)別的方法。

1 基于機(jī)器視覺(jué)的圖像預(yù)處理

LDWS機(jī)器算法的信號(hào)輸入是在生產(chǎn)線特定位置安置攝像頭，在生產(chǎn)線運(yùn)行時(shí)進(jìn)行拍攝，通過(guò)計(jì)算機(jī)進(jìn)行圖像特征提取。因?yàn)樯a(chǎn)線中環(huán)境較為復(fù)雜，經(jīng)常會(huì)因?yàn)樵O(shè)備、導(dǎo)軌和管線等信息，對(duì)硬塑包裝外形標(biāo)定造成干擾。在機(jī)器視覺(jué)進(jìn)行標(biāo)定前需要對(duì)圖像中的無(wú)關(guān)區(qū)域因素進(jìn)行剔除，確定硬塑包裝特征所在區(qū)域，在對(duì)圖像中的目標(biāo)區(qū)域進(jìn)行強(qiáng)化的基礎(chǔ)上進(jìn)行圖像預(yù)處理，即圖像ROI提取、圖像灰度化處理。

1.1 圖像ROI目標(biāo)區(qū)域選取

攝像頭選取的圖像除了包含透明硬塑包裝的目標(biāo)特征外，還包括鋼制傳動(dòng)帶、護(hù)欄和設(shè)備外殼等諸多干擾信息。在對(duì)目標(biāo)對(duì)象進(jìn)行定位前，采用ROI目標(biāo)區(qū)域的方式進(jìn)行透明硬塑包裝的區(qū)域截取，剔除干擾信息，其典型的生產(chǎn)線構(gòu)件識(shí)別示意如圖1所示。在圖像ROI圖像確定前，建立攝像頭成像模型，依據(jù)攝像頭位置與目標(biāo)物的位置關(guān)系進(jìn)行三維目標(biāo)物的二維位置坐標(biāo)轉(zhuǎn)化［12］，轉(zhuǎn)化過(guò)程如圖2所示。

圖1 典型的生產(chǎn)線構(gòu)件識(shí)別示意圖Fig.1 Schematic diagram of typical production line component identification

圖2 坐標(biāo)系轉(zhuǎn)換關(guān)系示意圖Fig.2 Schematic diagram of coordinate system transformation relationship

由圖2（a）可知，其轉(zhuǎn)換關(guān)系：

式中 θ ——不同坐標(biāo)的轉(zhuǎn)換角；

x0——x軸上的位移；

y0——y軸上的位移。

位置轉(zhuǎn)化如下式［13］：

圖2（b）空間坐標(biāo)系依據(jù)式（2）可以得到空間坐標(biāo)轉(zhuǎn)換關(guān)系，設(shè)定轉(zhuǎn)動(dòng)角為θ，可得到下式：

式中 R ——變化后的坐標(biāo)系矩陣；

t ——坐標(biāo)系變化后的平移向量。

糾偏前后的原始圖像如圖3所示。

圖3 透明硬塑包裝糾偏前后原始位置圖Fig.3 Original position image before and after rectification of transparent rigid plastic packaging

透明硬塑包裝區(qū)域范圍的ROI選取，是對(duì)生產(chǎn)線的干擾因素進(jìn)行確定，相機(jī)的安裝示意圖如4所示。

圖4 攝像頭安裝位置圖Fig.4 Camera installation location

圖4中h為攝像頭距離生產(chǎn)線的高度，θ為攝像頭安裝角度，α為攝像頭與光軸的夾角，d2為定位點(diǎn)與攝像頭的水平距離；（xc，yc）為攝像頭的光心聚焦點(diǎn)；yi為定位點(diǎn)的縱坐標(biāo)分量，dx為圖像像素的坐標(biāo)尺寸，其圖像的ROI上下界線的坐標(biāo)關(guān)系［14］：

式中 yu，yl—— ROI選取圖像的上下邊界的縱坐標(biāo)。

ROI選取圖像如圖5所示。

圖5 透明硬塑包裝糾偏前后ROI選取示意圖Fig.5 ROI selection image before and after rectification of transparent rigid plastic packaging

1.2 圖像灰度化處理

圖像灰度化的目的是將圖像中的色彩進(jìn)行灰度處理，通過(guò)RGB圖像使得圖片中的多元化色彩進(jìn)行消除，色彩信息對(duì)于透明硬塑包裝的反光特征屬于干擾信息，降低彩色進(jìn)行乳香灰度化處理，可以有效提升信息處理效率，提高計(jì)算機(jī)的運(yùn)算效率。

基于圖像信息處理的要求，采用平均值法對(duì)ROI選取的圖像進(jìn)行處理，對(duì)于RGB圖像的3個(gè)分量進(jìn)行計(jì)算［15］，如下式所示：

經(jīng)平均值灰度化處理后的圖像如圖6所示。

圖6 硬塑包裝糾偏前后灰度化處理示意圖Fig.6 Schematic diagram of gray level processing before and after rectification of hard plastic packaging

2 透明硬塑包裝的圖像濾波去噪研究

在整個(gè)透明硬塑包裝的定位中，首先對(duì)有反光特征的透明硬塑包裝進(jìn)行精確有效地識(shí)別；而后在圖像檢測(cè)上，對(duì)特定的位置進(jìn)行特征的精確抓取、標(biāo)定；最后，通過(guò)機(jī)械視覺(jué)對(duì)透明硬塑的特征進(jìn)行明確。在透明硬塑包裝定位算法驗(yàn)證前對(duì)包裝的邊進(jìn)行圖像濾波，以保證被標(biāo)定邊的特征可以被有效抓取。保邊濾波的優(yōu)點(diǎn)相較于傳統(tǒng)的去噪濾波方法可以將原先的邊框加以平整化處理，使濾波更為平整有效，在平滑圖像后將反光特征色差有效模糊，確保整個(gè)紙板特征的識(shí)別定位，算法流程如圖7所示。

圖7 透明硬塑包裝定位算法流程圖Fig.7 Flow chart of positioning algorithm for transparent hard plastic packaging

在對(duì)透明硬塑包裝進(jìn)行定位的過(guò)程中，首先是對(duì)識(shí)別的圖像進(jìn)行計(jì)算機(jī)算法的輸入；而后對(duì)圖像進(jìn)行濾波處理，依據(jù)包裝的特征進(jìn)行闕值的初次賦予；再依據(jù)不同位置進(jìn)行闕值分割而進(jìn)行形態(tài)學(xué)的處理，確認(rèn)其結(jié)果是否滿足非零像素，若滿足則進(jìn)行包裝的特征統(tǒng)計(jì)，進(jìn)而輸出結(jié)果，若不滿足則進(jìn)行闕值循環(huán)賦予，直到滿足為止。

2.1 RGB圖像去噪預(yù)處理

共生濾波器的優(yōu)勢(shì)在于將包裝反光特征的強(qiáng)化檢測(cè)，通過(guò)濾波計(jì)算將信號(hào)實(shí)現(xiàn)精準(zhǔn)化提取。共生濾波效果基于像素中頻率的變化，對(duì)包裝間的紋理產(chǎn)生影響。共生濾波器的表達(dá)如下式：

式中 Iq，Jp—— 輸入、輸出圖像對(duì)應(yīng)的像素值；

p，q —— 像素的牽引；

ω（p，q）—— 2者像素的權(quán)重比值。

共生濾波用1個(gè)歸一化的共生矩陣擴(kuò)展雙邊濾波，以此來(lái)處理反光特征可實(shí)現(xiàn)圖像的有效提取?；谒惴ǖ那蠼怆y度，修正后的表達(dá)式如下：

式中 M ——像素矩陣；

C（a，b） ——共生矩陣；

h（a），h（b）—— 圖像中所出現(xiàn)的頻率。

其中：

2.2 雙邊濾波處理后圖像分析

圖像去噪預(yù)處理的目的是在圖像抓取過(guò)程中，對(duì)環(huán)境中的各類噪聲的干擾加以排除。圖像處理算法的核心步驟是先對(duì)圖像進(jìn)行去噪或像素的增強(qiáng)，在保證圖像質(zhì)量的基礎(chǔ)上，降低圖像處理算法的復(fù)雜性。

以雙邊濾波去噪的方式對(duì)不同類型的反光特征細(xì)節(jié)進(jìn)行有效地平滑過(guò)渡。明確不同物體反光特征的保持狀態(tài)，濾波處理圖像結(jié)果如圖8所示。

圖8 硬塑包裝雙邊濾波結(jié)果示意圖Fig.8 Schematic diagram of bilateral filtering results of hard plastic packaging

圖8（a）為相機(jī)終端采集的樣本圖像，在圖像上2個(gè)主要視圖中均有較多的反光特征。通過(guò)圖8（b）可知采取整體顏色加深進(jìn)行濾波可以實(shí)現(xiàn)包裝反光特征被整體表現(xiàn)，但整體的圖像顯示較為模糊，尤其2個(gè)面的光影影響不利于特征的提取。通過(guò)上述濾波對(duì)比可知共生濾波結(jié)果是較為理想的包裝濾波方式，在效果表現(xiàn)上雖然透明硬塑的特征表現(xiàn)效果較好，但在實(shí)際的特征識(shí)別上相對(duì)較為不利。

3 透明硬塑反光特征LDWS視覺(jué)算法研究

3.1 LDWS視覺(jué)算法分析

在完成圖像去噪的基礎(chǔ)上，通過(guò)采取LDWS視覺(jué)計(jì)算不同闕值而將復(fù)雜的背景加以有效地濾除，進(jìn)而保障整個(gè)系統(tǒng)特征的有效表現(xiàn)。下一步對(duì)透明硬塑反光特征進(jìn)行精準(zhǔn)化定位標(biāo)定。通過(guò)工業(yè)相機(jī)的拍攝對(duì)被標(biāo)物精確定位，明確被抓取物的邊框，并對(duì)圖像中多余的邊框部位及時(shí)地背景剔除，明確目標(biāo)區(qū)域的透明硬塑反光特征的精確位置，使得透明硬塑反光特征可以通過(guò)機(jī)械實(shí)現(xiàn)目標(biāo)物的精確抓取。在透明硬塑反光特征定位過(guò)程中，明確被精確定位的透明硬塑反光特征的區(qū)域邊角的坐標(biāo)點(diǎn)，能滿足后續(xù)機(jī)械對(duì)精準(zhǔn)定位參數(shù)的要求。結(jié)合現(xiàn)有的視覺(jué)算法，通過(guò)LDWS視覺(jué)算法對(duì)透明硬塑反光特征進(jìn)行圖像復(fù)雜背景濾除，并加以反光特征檢測(cè)。

對(duì)于細(xì)小且復(fù)雜的點(diǎn)和反光特征，結(jié)合工程實(shí)際情況，設(shè)計(jì)一種自適應(yīng)算法，對(duì)其加以有效地操作消除，算法流程具體如圖9所示。

圖9 包裝反光特征LDWS視覺(jué)算法流程圖Fig.9 Flow chart of LDWS vision algorithm for packaging reflective features

在透明硬塑反光特征的定位算法中，利用LDWS視覺(jué)算法，可以有效地將透明硬塑的反光特征加以定位。除此之外，該算法還可以將透明硬塑反光特征、氣泡以及其他可引發(fā)頻譜的圖像要素有效地提取。在結(jié)合反光特征形態(tài)以及濾波處理后，系統(tǒng)中大部分冗余的噪聲被有效清除。使用LDWS視覺(jué)算法，對(duì)弱光照、中等光照與強(qiáng)光照進(jìn)行算法計(jì)算，通過(guò)擬合得到不同灰度值下的像素區(qū)間分布狀態(tài)以及灰度值分布的綜合評(píng)價(jià)狀態(tài)，結(jié)果如圖10-12所示。

圖10 弱光的灰度算法的像素?cái)M合圖Fig.10 Pixel fitting diagram of gray algorithm of weak light

圖11 中等光照的灰度算法的像素?cái)M合圖Fig.11 Pixel fitting diagram of gray algorithm under medium illumination

圖12 強(qiáng)光照的灰度算法的像素?cái)M合圖Fig.12 Pixel fitting diagram of gray algorithm under strong illumination

通過(guò)對(duì)弱光照、中等光照與強(qiáng)光照進(jìn)行對(duì)照，可知弱光照的像素?cái)?shù)最多，在同等算法下，弱光照也更適合進(jìn)行特征識(shí)別。通過(guò)形態(tài)學(xué)閉運(yùn)算的操作，其核心是對(duì)包裝系統(tǒng)的紋理特征頻段加以信息強(qiáng)化，使得透明硬塑的外部反光特征信息被有效放大與加強(qiáng)。對(duì)于系統(tǒng)中存在的很小額外紋理變化，通過(guò)軟件操作可將其附屬的非關(guān)注特征，通過(guò)腐蝕操作加以有效消除，保證核心的大部分額外紋理被顯示。對(duì)圖像加以腐蝕操作，雖沒(méi)有對(duì)其主要的反光特征實(shí)現(xiàn)完全的濾波信息過(guò)濾，但可以有效地對(duì)視覺(jué)圖像中大部分的額外特征加以去除，尤其是對(duì)復(fù)雜工況圖像中的一些細(xì)小的干擾區(qū)域。

3.2 透明硬塑反光特征定位圖像邊緣標(biāo)定

以某透明硬塑包裝反光特征為例，對(duì)其紙板上的4個(gè)主要反光特征進(jìn)行RGB圖像邊緣標(biāo)定分析，經(jīng)對(duì)圖7在圖9的算法的多闕值作用，得到圖13。

圖13 多闕值反光特征腐蝕特征示意圖Fig.13 Schematic diagram of multi-threshold reflective features and corrosion characteristics

采用收斂性對(duì)照程序?qū)υ瓐D與處理后的圖像對(duì)照，得到透明硬塑包裝反光特征的數(shù)據(jù)信息。可知LDWS算法可以有效實(shí)現(xiàn)透明硬塑反光特征的收斂，測(cè)試精準(zhǔn)度由先前約60%提高到約90%，對(duì)透明硬塑包裝的反光特征實(shí)現(xiàn)精確定位，達(dá)到預(yù)期設(shè)定的目標(biāo)。對(duì)圖13中特征進(jìn)行多次闕值濾波，經(jīng)定位擬合，其示意如圖14所示。

圖14 糾偏前后誤差線性擬合示意圖Fig.14 Linear fitting diagram of errors before and after rectification

通過(guò)圖14可知，對(duì)于透明硬塑包裝的糾偏前后誤差擬合距離基本相等，驗(yàn)證整個(gè)標(biāo)定前后系統(tǒng)穩(wěn)定有效。通過(guò)多次調(diào)試驗(yàn)證，算法可以精確地進(jìn)行透明包裝的調(diào)整，且穩(wěn)定有效。

4 結(jié)語(yǔ)

通過(guò)攝像頭有效抓取包裝樣件圖片，通過(guò)計(jì)算機(jī)的機(jī)器視覺(jué)算法，對(duì)包裝的特征進(jìn)行抓取與視覺(jué)處理，便于整個(gè)系統(tǒng)的及時(shí)視覺(jué)監(jiān)控與處理。包裝系統(tǒng)檢測(cè)結(jié)合機(jī)器視覺(jué)，對(duì)透明硬塑包裝進(jìn)行分析，論證視覺(jué)算法的可靠性及基于機(jī)器視覺(jué)的透明硬塑包裝標(biāo)定算法的有效糾偏標(biāo)定。在該算法上對(duì)闕值的賦予采取多次驗(yàn)證所得到區(qū)間進(jìn)而進(jìn)行循環(huán)，耗時(shí)相對(duì)較長(zhǎng)，在后續(xù)的算法中可以針對(duì)該類方法結(jié)合卷積神經(jīng)網(wǎng)絡(luò)算法進(jìn)行優(yōu)化，利用機(jī)器學(xué)習(xí)的方法提高效率。