切片機(jī)煙包切層霉變及雜物視覺識別系統(tǒng)

蘇偉東，伍穎翔，程棉昌，張釗毅，馮志斌

（廣東中煙工業(yè)有限責(zé)任公司廣州卷煙廠，廣東 廣州 510385）

0 引言

制絲車間現(xiàn)有霉變煙和雜物的檢測方式是人工觀察。雖對員工進(jìn)行了檢測標(biāo)準(zhǔn)的培訓(xùn)上崗，但標(biāo)準(zhǔn)的執(zhí)行過程中存在因人而異，無法統(tǒng)一現(xiàn)象，且檢測效率會隨著檢測人員的工作時長而下降，容易出現(xiàn)漏檢現(xiàn)象。所以這種人工觀察方式較落后，不利于規(guī)范化管理。

因此，探索研制一套適應(yīng)切片機(jī)煙包切層霉變及雜物視覺識別系統(tǒng)，以智能技術(shù)方式檢測霉變煙和雜物，提高制絲生產(chǎn)線的自動化控制水平，穩(wěn)定煙草產(chǎn)品內(nèi)在質(zhì)量，實(shí)現(xiàn)企業(yè)生產(chǎn)自動化、智能化，提升卷煙生產(chǎn)水平。

1 整體方案設(shè)計(jì)

1.1 系統(tǒng)硬件設(shè)計(jì)

系統(tǒng)結(jié)構(gòu)見圖1，主要包括煙包切層霉斑和雜物硬件檢測平臺和煙包切層霉斑和雜物軟件檢測系統(tǒng)。煙包切層霉斑和雜物硬件檢測平臺主要包括光源、CCD工業(yè)相機(jī)、固定裝置等。檢測系統(tǒng)通過網(wǎng)絡(luò)與相機(jī)相連，實(shí)時獲取煙包的切面圖像，按煙包批次信息保存圖像，并快速地進(jìn)行霉斑和雜物檢測，如果檢測到當(dāng)前切層有霉斑和雜物，則立刻報(bào)警。煙包在推送裝置的作用下向前位移，進(jìn)入待切割區(qū)域后停止推送。切割完成后，煙包切割系統(tǒng)（或中控系統(tǒng)）將控制信號傳給檢測系統(tǒng)，檢測系統(tǒng)控制工業(yè)相機(jī)獲取煙包圖像，并檢測是否存在霉斑和雜物，如果檢測系統(tǒng)發(fā)現(xiàn)有霉斑或雜物，則檢測系統(tǒng)發(fā)出聲光報(bào)警，通知現(xiàn)場操作人員進(jìn)行查驗(yàn)。操作人員對每條報(bào)警記錄進(jìn)行查驗(yàn)，查驗(yàn)后確認(rèn)有霉變或雜物的通過按鈕確認(rèn)。

圖1 系統(tǒng)結(jié)構(gòu)示意圖

1.2 光學(xué)系統(tǒng)的設(shè)計(jì)

光學(xué)系統(tǒng)主要包括工業(yè)相機(jī)和光源。工業(yè)相機(jī)的分辨率應(yīng)該根據(jù)所要檢測的物體的大小和要求的檢測精度來確定，由于檢測的煙包切面大小約為（1000×1000）mm，檢測的雜物面積最小為（20×20）mm，為增加系統(tǒng)穩(wěn)定性不會只用一個像素單位對應(yīng)一個測量精度值，故單向分辨率至少為50×20，由于相機(jī)并非正對煙包切面，要保證煙包處于視野范圍內(nèi)，故假設(shè)煙包占整個相機(jī)視野范圍的一半，要求分辨率應(yīng)至少為200萬像素。在此方案中工業(yè)相機(jī)應(yīng)用在切割煙包的過程中，在相機(jī)曝光時間內(nèi)煙包不發(fā)生位移，所以應(yīng)該采用CCD芯片的面陣工業(yè)相機(jī)，由于對系統(tǒng)對采集速度沒有太大要求，取參考幀率為20～30fps。由于工業(yè)相機(jī)距離工控機(jī)距離較遠(yuǎn)，故選擇的通信接口形式為GigE接口。綜合以上考慮，本方案選擇大恒圖像生產(chǎn)的CCD工業(yè)相機(jī)MER-201-25GC，相機(jī)的相關(guān)參數(shù)如下圖所示，滿足本項(xiàng)目要求。相機(jī)安裝位置距離煙包切面中心約為1200mm，結(jié)合相機(jī)的靶面大小，選擇大恒圖像的9mm定焦鏡頭，型號為HN-0914-2M-C2/3X。

機(jī)器視覺中的光源主要起到以下三個作用：

（1）照亮目標(biāo)，提高亮度。

（2）形成有利于圖像處理的成像效果，降低系統(tǒng)的復(fù)雜性和對圖像處理算法的要求。

（3）克服環(huán)境光干擾，保證圖像穩(wěn)定性，提高系統(tǒng)的精度、效率。

LED（發(fā)光二極管）光源以其形狀自由度高，使用壽命長、響應(yīng)速度快、單色性好、顏色多樣、綜合性價比高等特點(diǎn)在機(jī)器視覺行業(yè)內(nèi)廣泛應(yīng)用。因此本方案選擇LED光源作為視覺檢測系統(tǒng)的光源。LED光源按形狀可以分為環(huán)形光源、背光源、條形光源等。其中條形光源是較大方形結(jié)構(gòu)被測物的首選光源，顏色可根據(jù)需求搭配，自由組合，照射角度與安裝隨意可調(diào)，因此在此方案中首選條形光源。同時由于煙包的霉變和異物多為白色或相近顏色，故首選白色光源對異物有較好的反射效果。綜上，本方案選擇大恒圖像生產(chǎn)的DHK-L系列的白色條形光源對檢測目標(biāo)進(jìn)行照明。

1.3 安裝方案的設(shè)計(jì)

如圖2所示，拍攝前方的工業(yè)相機(jī)通過工業(yè)相機(jī)支撐架固定在煙包切片機(jī)機(jī)架上的壓板導(dǎo)軌側(cè)面，工業(yè)相機(jī)支撐架可上下或者左右調(diào)節(jié)工業(yè)相機(jī)的拍攝方向，光源通過光源固定架固定在壓板兩側(cè)的煙包切片機(jī)機(jī)架立柱上。拍攝下方的工業(yè)相機(jī)通過工業(yè)相機(jī)支撐架固定在傳送帶上方的煙包切片機(jī)機(jī)架上，工業(yè)相機(jī)支撐架可上下或者左右調(diào)節(jié)工業(yè)相機(jī)的拍攝方向，光源通過光源固定架固定在工業(yè)相機(jī)下方。

圖2 工業(yè)相機(jī)和光源的安裝位置示意圖

如圖3所示，工業(yè)相機(jī)支撐架包括工業(yè)相機(jī)連接角碼、光軸、立式光軸支撐座、十字光軸固定夾和菱形光軸支撐座。工業(yè)相機(jī)通過螺釘與工業(yè)相機(jī)連接角碼固定。工業(yè)相機(jī)連接角碼通過螺栓與立式光軸支撐座固定。光軸與立式光軸支撐座上的孔配合，立式光軸支撐座可在光軸上滑動，可通過緊定螺釘將光軸與立式光軸支撐座固定。光軸與十字光軸固定上的孔配合，十字光軸固定夾可在光軸上滑動，可通過緊定螺釘將光軸與十字光軸固定夾固定。光軸與十字光軸固定夾上的孔配合，十字光軸固定夾可在光軸上滑動，可通過緊定螺釘將光軸與十字光軸固定夾固定。光軸與菱形光軸支撐座上的孔配合，可通過緊定螺釘將光軸與菱形光軸支撐座固定。菱形光軸支撐座通過螺釘固定在煙包切片機(jī)機(jī)架上。

圖3 工業(yè)相機(jī)支撐架結(jié)構(gòu)示意圖

1.4 檢測算法設(shè)計(jì)

本方案使用傳統(tǒng)的計(jì)算機(jī)視覺技術(shù)對煙包對切層進(jìn)行霉變和雜物的檢測。檢測算法采用C++作為主要開發(fā)語言，利用開源計(jì)算機(jī)視覺庫OpenCV實(shí)現(xiàn)相關(guān)功能，分別對兩個相機(jī)采集的圖像進(jìn)行計(jì)算。相機(jī)檢測算法流程見圖4。

圖4 側(cè)邊相機(jī)檢測算法流程

由于側(cè)邊相機(jī)安裝位置傾斜，故需要對圖片進(jìn)行透視變換，從而將切面圖片進(jìn)行矯正。將透視變換矩陣保存至配置文件，處理時直接讀取，針對第一面和后面的切面分別設(shè)置了兩個不同的變換矩陣。

由于光照原因，圖像中煙包范圍亮度不均勻，部分過暗，因此需要對圖片進(jìn)行亮度的調(diào)整。首先采用伽瑪變換的方法對圖像整體進(jìn)行調(diào)節(jié)，消除過亮和過暗的區(qū)域，對圖像進(jìn)行漸變疊加的亮度調(diào)整。

檢測區(qū)域分割。為了正確識別出煙包切面的霉變情況，需要分割出煙包區(qū)域的范圍，本課題采用傳統(tǒng)機(jī)器視覺的分水嶺分割算法，根據(jù)先驗(yàn)圖像將圖像分割為兩個部分：煙包區(qū)域部分和背景部分。

對上述檢測區(qū)域進(jìn)行處理，獲取異常的圖像部位。這里首先采用Galbar濾波的方法取sigma值為3.3，分別對0°、45°和90°三個方向進(jìn)行處理，并將三個結(jié)果進(jìn)行疊加，得到結(jié)果二值圖。在結(jié)果二值圖中去除檢測區(qū)域輪廓的影響，然后對二值圖進(jìn)行形態(tài)學(xué)操作，去除獨(dú)立的小點(diǎn)，將距離相近點(diǎn)合并，

對結(jié)果二值圖進(jìn)行輪廓查找操作，并得到外接矩形，將面積較小的忽略，將面積較大的部分外界矩形繪制并輸出，同時輸出繪制的外接矩形個數(shù)。

輸入圖像是在RGB顏色空間的圖像，但是人眼對于這三種顏色分量的敏感程度是不一樣的，RGB顏色空間是一種均勻性較差的顏色空間。在圖像處理中使用較多的是HSV顏色空間，它比RGB更接近人們對彩色的感知經(jīng)驗(yàn)。非常直觀地表達(dá)顏色的色調(diào)、鮮艷程度和明暗程度，方便進(jìn)行顏色的對比。因此首先將圖像轉(zhuǎn)化到HSV顏色空間，見圖5。

圖5 圖像在HSV顏色空間的顯示

將煙包的正常顏色范圍和傳送帶顏色進(jìn)行選擇并在二值圖中像素置0（黑色），其他顏色位置設(shè)為255（白色）。

由于傳送帶的兩側(cè)存在兩條固定的白色線條會對檢測結(jié)果造成影響，故本方案將其輪廓存儲至配置文件，算法運(yùn)行時會生成如圖6所示的掩膜圖像，在處理上述生成的二值圖時會將掩膜白色部分進(jìn)行忽略，然后執(zhí)行形態(tài)學(xué)開操作去除獨(dú)立的小白點(diǎn)，然后輪廓查找操作，并得到外接矩形，將面積較小的忽略，將面積較大的部分外接矩形繪制到輸入原圖上并輸出如圖7所示，同時輸出繪制的外接矩形個數(shù)。

圖6 傳送帶白邊的掩膜

圖7 輸出圖像

2 系統(tǒng)功能

上位機(jī)軟件運(yùn)行在工控機(jī)Windows系統(tǒng)上，基于C#語言開發(fā)，主要完成相機(jī)的采集、圖像的顯示、與中控的通訊等功能，將上述檢測算法封裝為動態(tài)鏈接庫dll，上位機(jī)軟件通過調(diào)用該庫實(shí)現(xiàn)圖像的處理。

檢測程序界面布局如圖8所示，總體分為兩行三列，最上方顯示當(dāng)前的生產(chǎn)信息：生產(chǎn)批次、煙牌編碼和煙牌名稱，最左側(cè)一列顯示側(cè)邊相機(jī)的采集和處理結(jié)果，上面顯示實(shí)時視頻，下面顯示處理后的圖片和當(dāng)前煙包信息；工控機(jī)采集切片機(jī)狀態(tài)信號并自動抓拍切面圖像，上方的【手動抓拍】按鈕可選擇手動抓拍圖像并進(jìn)行處理。中間一列的垂直相機(jī)的采集和處理顯示同左列相同。

最右側(cè)一列為歷史記錄信息，上方的歷史數(shù)據(jù)表中在當(dāng)前生產(chǎn)批次中所有抓拍并處理的結(jié)果和時間戳，下方結(jié)果視圖顯示處理的圖片和檢測結(jié)果，【原圖】按鈕用于調(diào)出當(dāng)前處理結(jié)果的原始圖片。最上方的三個按鈕【刷新】、【上一張】、【下一張】用于歷史記錄表的遍歷和結(jié)果視圖的顯示刷新，【報(bào)警確認(rèn)】按鈕用于當(dāng)系統(tǒng)發(fā)生報(bào)警時，解除警報(bào)，見圖8。

圖8 檢測程序界面

3 成果應(yīng)用分析

本系統(tǒng)通過視覺識別技術(shù)，研制出切片機(jī)煙包切層霉變及雜物視覺識別系統(tǒng)，實(shí)現(xiàn)了如下功能：

（1）在切片機(jī)中加裝兩套工業(yè)攝像機(jī)，其中側(cè)面相機(jī)用于采集分切前、分切后第一面、第二面的圖像，垂直相機(jī)采集分切后第三面的圖像。按當(dāng)前切片機(jī)3刀4片的設(shè)置，系統(tǒng)與切片機(jī)PLC通信，實(shí)現(xiàn)共4個煙包截面的圖像采集。

（2）與上位管理系統(tǒng)實(shí)現(xiàn)通信，讀取當(dāng)前牌批號信息，同一牌批次的煙包截圖，存放于一個文件夾內(nèi)，供后續(xù)查閱歷史檢測記錄。

（3）通過使用計(jì)算機(jī)視覺技術(shù)實(shí)現(xiàn)樣本圖像煙包邊緣識別，將煙包區(qū)域的圖像保留，背景進(jìn)行去除。區(qū)分出煙包圖像后，再對圖像進(jìn)行處理。通過采集正常煙包、常見雜物、霉變煙的信息。分析出煙包切面上的正常煙包、常見雜物、霉變煙在顏色、灰度和紋理上的差別，以O(shè)penCV中的相關(guān)算法為基礎(chǔ)，統(tǒng)計(jì)圖像的顏色和紋理分布，再采用不同的理論和方案，提取圖像特征，從而實(shí)現(xiàn)對圖像中的霉斑和雜物進(jìn)行識別和標(biāo)記。

（4）系統(tǒng)運(yùn)行界面分區(qū)顯示，分別有：生產(chǎn)信息區(qū)，側(cè)邊相機(jī)區(qū)，垂直相機(jī)區(qū)和記錄信息區(qū)，具體顯示及功能如下圖。側(cè)邊相機(jī)區(qū)，垂直相機(jī)區(qū)的設(shè)置是為了便于操作人員觀察實(shí)時的煙包切面情況。記錄信息區(qū)提供本批歷史所有煙包切面截圖查閱，還可通過檢測結(jié)果快速定位系統(tǒng)報(bào)異常的煙包進(jìn)行翻查，確認(rèn)本批次的煙包是否有夾雜雜物或存在霉變現(xiàn)象。

（5）當(dāng)識別出煙包切面上有霉斑或雜物時，通過現(xiàn)場報(bào)警燈，向現(xiàn)場操作人員發(fā)送報(bào)警指令，提醒操作人員檢查相關(guān)煙包。

4 結(jié)束語

采用機(jī)器視覺設(shè)計(jì)了一種基于機(jī)器視覺的切片機(jī)煙包切層霉變及雜物視覺識別系統(tǒng)，通過在切片機(jī)上安裝側(cè)邊相機(jī)和垂直相機(jī)來進(jìn)行切片在不同角度的雜物識別，采用圖像生產(chǎn)的DHK-L系列的白色條形光源對檢測目標(biāo)進(jìn)行照明拍攝，以此減少克服環(huán)境光干擾，保證圖像穩(wěn)定性，提高系統(tǒng)的精度、效率。利用開源計(jì)算機(jī)視覺庫OpenCV實(shí)現(xiàn)相關(guān)功能，分別對兩個相機(jī)采集的圖像進(jìn)行計(jì)算。通過對相機(jī)拍攝到的切片圖片進(jìn)行分析并存儲，通過切片機(jī)煙包切層霉變及雜物視覺識別系統(tǒng)具有可靠性高、響應(yīng)速度快和可操作性強(qiáng)等優(yōu)點(diǎn)，以達(dá)到自動檢測，自動報(bào)警的要求。