基于機器視覺的煙絲質(zhì)量特征在線量化分析

康曉珍，楊 義，謝尚宇，孫 哲，方世杰

（1.河南中煙工業(yè)有限責(zé)任公司黃金葉生產(chǎn)制造中心，鄭州 450000；2.首域科技（杭州）有限公司，杭州 310000）

隨著企業(yè)品牌規(guī)模擴大，產(chǎn)品均質(zhì)化生產(chǎn)成為企業(yè)關(guān)注的焦點之一。煙絲過程質(zhì)量的穩(wěn)定性對成品卷煙質(zhì)量的均質(zhì)化具有重要意義。目前煙絲過程質(zhì)量在線檢測指標(biāo)有限，煙絲物理指標(biāo)檢測方法復(fù)雜，人工抽檢數(shù)據(jù)量少，不能全程檢測煙絲質(zhì)量，存在一定的局限性。

視覺檢測在煙絲外觀質(zhì)量特征識別方面有一定的技術(shù)優(yōu)勢，且在煙草生產(chǎn)領(lǐng)域，對煙絲外觀質(zhì)量的檢測有很大的研究空間，探索煙絲外觀質(zhì)量特征與煙絲物理指標(biāo)之間的關(guān)聯(lián)關(guān)系，不僅可以增加過程煙絲檢測指標(biāo)維度，對煙絲過程質(zhì)量的評價也將是一個新的突破點。

夏營威[1]等設(shè)計出離線煙絲寬度測量裝置，其基于制絲過程中切絲所造成的平直切口邊緣為測量點，來進行切口匹配進行寬度的測量，其實現(xiàn)了離線煙絲寬度的測量，并達到0.1 mm的精度。2014年，研究人員[2]提出使用多項式函數(shù)曲線方程來擬合煙絲骨架走勢，通過求取骨架上具體點位的切線斜率和其斜率法線與煙絲的2個相交點，將兩相交點之間距離表示為單個煙絲寬度測量值。

2021年，趙繼俊等[3]實驗對比了基于圖像處理的煙絲寬度測量方法和ISO 20193—2019《煙草和煙草制品.煙絲條寬度的測定》[4]文件所提出國際標(biāo)準煙絲寬度測量方法的精密度、效率。吳文強等[5]設(shè)計出結(jié)合風(fēng)選結(jié)構(gòu)方式和圖像識別技術(shù)的在線煙絲檢測方式，應(yīng)用于制絲風(fēng)選室內(nèi)實現(xiàn)在線實時檢測統(tǒng)計煙絲長度、寬度和面積等。2022年，劉洪坤等[6]提出新的基于變徑圓的煙絲寬度檢測方法，通過最大類間方差法分割煙絲和背景，并基于煙絲骨架線尋找一系列點作為圓心，在骨架線中畫出多個煙絲內(nèi)切圓，并將多個內(nèi)切圓的平均直徑作為煙絲寬度，其方法對比于ISO投影法和Hough變化法，整體提高了煙絲寬度檢測的效率和準確率。

本文介紹了一種使用機器學(xué)習(xí)算法在線測量煙絲特征的新型檢測儀，其設(shè)計應(yīng)用于煙絲烘絲產(chǎn)線后實時在線檢測煙絲的不同形態(tài)特征，并能及時通過應(yīng)用終端向操作人員實時展示煙絲尺寸的各項數(shù)值（包括但不限于煙絲長度、煙絲寬度和煙絲卷曲度等參數(shù)），從而及時調(diào)整各項生產(chǎn)指標(biāo)，保證煙絲整體的產(chǎn)品質(zhì)量，幫助煙廠把控?zé)熃z工藝質(zhì)量，提高煙絲品質(zhì)。

1 測量儀系統(tǒng)組成

本在線煙絲測量儀由抖料裝置系統(tǒng)、圖像采集系統(tǒng)組成，如圖1所示。

圖1 在線煙絲測量儀系統(tǒng)構(gòu)造圖

1.1 抖料系統(tǒng)

抖料系統(tǒng)主要負責(zé)獲取、分離并攤平煙絲，最后將攤平的煙絲通過皮帶送入圖像采集系統(tǒng)中。

抖料裝置主要由自動獲取煙絲的伸縮接料裝置和用于分離、攤開煙絲的兩軸震動散料裝置（如圖2所示）組成，其中兩軸震動散料裝置又由用于分離成團煙絲的漏斗和用于攤平煙絲的水平震動槽組成。儀器在運行過程中，伸縮接料裝置從運行的產(chǎn)線中接取成坨煙絲物料，并送入上下抖動的漏斗中，漏斗由電機驅(qū)動，按照固定的頻率進行往返振篩，煙絲在經(jīng)過抖動漏斗中，由其內(nèi)部結(jié)構(gòu)（共3層）進行分離，最后經(jīng)過振篩的煙絲會落到漏斗正下方的水平震動槽上。水平震動槽表面由小米粒板組成，水平震動槽同樣進行著高頻率的震動使掉入其中的煙絲能夠被高速抖動送入水平皮帶裝置，并最終落入水平皮帶裝置表面。落入水平皮帶表面的煙絲能夠基本達到互相分離、不重疊的狀態(tài)，被繼續(xù)被運動的皮帶送入圖像采集系統(tǒng)中。

圖2 兩軸煙絲震動散料裝置結(jié)構(gòu)圖

1.2 圖像采集系統(tǒng)

圖像采集系統(tǒng)如圖3所示，由遮光罩、相機組件和水平皮帶裝置組成。水平皮帶為不反光的墨綠色皮帶，高速運動的皮帶將經(jīng)過抖料裝置分離后落下的煙絲送入遮光罩中。遮光罩由黑色亞克力材質(zhì)制成，用于遮擋外部光線。遮光罩內(nèi)部上方配有LED面光源（400 mm×300 mm發(fā)光面積）照明系統(tǒng)，以保證遮光罩內(nèi)擁有充足的光照，且使視場內(nèi)的亮度、均勻度保持一致。遮光罩正上方處開有一圓形孔洞用于放置相機組件，相機組件由面陣相機（4 096×3 000，14 fps）和鏡頭（16 mm焦距）組成。相機能夠?qū)崟r快速拍攝煙絲圖片，并基于機器視覺算法對圖片進行處理。

圖3 圖像采集系統(tǒng)結(jié)構(gòu)圖

2 相機標(biāo)定和矯正

這一部分將詳細介紹如何計算相機投影矩陣（相機內(nèi)外參數(shù)）來減少鏡頭畸變所帶來的影響。

相機鏡頭的畸變實際上是由光學(xué)透鏡所固有的透視失真特性而造成的，相機的畸變通常分為3類：桶形畸變、線性畸變和枕形畸變。相機畸變會使拍攝到的物體產(chǎn)生輕微或嚴重的變形，其對測量精度要求較高的物體的影響較大，為了保證算法測量計算出的煙絲特征與煙絲本身的真實屬性盡可能地逼近，因此對采集到的圖像先進行矯正是十分重要的。

相機的畸變矯正通過求解相機的內(nèi)外參數(shù)，使用世界坐標(biāo)系到圖像坐標(biāo)系的映射關(guān)系來調(diào)整圖像，從而盡可能地使矯正后的圖像逼近于真實圖像。

內(nèi)外參數(shù)的求解通常有2種方法。

第一種是利用給定的標(biāo)定物，拍攝多張不同照片，通過提取控制點來對相機內(nèi)外參數(shù)進行計算[7-8]，此方法適用于任意的相機模型，且標(biāo)定精度較高，但是標(biāo)定過程相對復(fù)雜，對標(biāo)定物的精細程度有一定的要求，且對噪聲較為敏感。其中張敏等[9]在基于直線特征的非線性畸變校正方法的基礎(chǔ)上提出了一種全新的帶權(quán)重因子的彎曲測度指標(biāo)函數(shù)，這一改進大大地提高了畸變矯正的精度。

另一種方法是相機的非量測畸變校正方法，與第一種方法相比，其不再需要精密的標(biāo)定物件，而是利用了共線點的投影幾何不變性來快速地進行參數(shù)的求解[10-11]，張靖等[12]通過構(gòu)建直線和畸變曲線直線的面積參數(shù)，通過遺傳算法來搜索畸變參數(shù)的最小值，據(jù)研究表明該方法具有更好的抗噪聲能力。

本文使用Matlab軟件自帶的相機標(biāo)定庫（Camera Calibration Toolbox）來進行相機內(nèi)外參數(shù)的計算，其矯正原理是基于標(biāo)定物的張正友[13]畸變矯正方法。張正友畸變矯正法克服了標(biāo)定物需要高精度這一限制，而僅需要打印出的黑白格棋盤（如圖4所示）作為標(biāo)定物即可。

圖4 黑白棋盤標(biāo)定板圖

將拍攝的不同角度的標(biāo)定板照片送入Matlab軟件處理，設(shè)定棋盤的實際參數(shù)尺寸，經(jīng)過軟件計算就可得到相應(yīng)的鏡頭畸變矯正內(nèi)外參數(shù)矩陣和相應(yīng)的重投影誤差。重投影誤差定義為特征點在相機坐標(biāo)系下的估計值和觀測值的差。在本次矯正中平均誤差約為0.14，如圖5所示。

圖5 重投影誤差結(jié)果圖

同樣地能夠通過黑白棋盤來進行相機標(biāo)定的工作。通過相機標(biāo)定，可以計算得到相機鏡頭的精度K，其表示相機拍攝的圖像中1個像素所代表的實際空間距離（mm）。對于測量儀所使用的鏡頭型號，通過計算，相機精度K約為0.059 7，意味著圖片中的1個像素距離代表現(xiàn)實空間中0.059 7 mm。

3 圖像處理

在這一部分將會分析討論，通過圖像YUV顏色通道來處理采集到的煙絲圖片，獲得煙絲的各個參數(shù)指標(biāo)，如寬度、長度等。

3.1 基于YUV顏色通道的顏色分割

一張彩色的圖像可以由不同的顏色空間來表示，比如最常見的RGB（紅綠藍）色彩空間，工業(yè)印刷所采用的CMY（青（Cyan）、洋紅（Magenta）和黃（Yellow））色彩空間，以及本文采用的YUV色彩空間。夏營威[1]等使用了RGB色彩空間的Red和Blue分量差值來作為閾值進行圖像的分割，將煙絲和背景圖像進行提取。在本文介紹的測量儀圖像處理系統(tǒng)中，基于背景皮帶的顏色和改變相機的拍照參數(shù)與光照效果，選擇通過YUV顏色通道對煙絲進行圖像背景分割。煙絲原圖如圖6所示。

圖6 煙絲原圖

對煙絲原圖分別進行YUV彩色空間各個單通道的圖像提取，并統(tǒng)計其各通道的顏色分布，結(jié)果如圖7和圖8所示。

圖7 煙絲YUV單通道圖

圖8 煙絲圖片YUV分布圖

從結(jié)果上看，煙絲在V通道上與背景的差異較大，并且V通道中像素值主要分布在120范圍內(nèi)。本算法使用V通道圖來對煙絲背景進行分割，通過測試選擇閾值T來使用式（1）對圖像進行精準分割。

式中：T為人為設(shè)定的閾值；P為圖像V通道下像素的值；Pfinal為經(jīng)過閾值變化后的結(jié)果。

經(jīng)過式（1）的處理，將圖像處理為0和1的二值圖像，結(jié)果如圖9所示。

圖9 煙絲二值圖

由圖9可知，經(jīng)過閾值劃分處理的二值圖上仍然存在許多噪聲，使用濾波操作去除噪聲有時會破壞煙絲的完整性，將1根煙絲斷成多根煙絲。為了消除噪聲和保護煙絲的完整性，將采用連通性標(biāo)記的方式去除噪聲。

3.2 連通性標(biāo)記和骨架提取

連通性描述了像素區(qū)域和邊界的概念，連通性標(biāo)記能夠標(biāo)記出相連的具有相同（或相似）像素值的像素點，常用的連通性處理有4鄰域和8鄰域，如圖10所示。

圖10 4鄰域和8鄰域

4鄰域只考慮目標(biāo)像素上、下、左、右4個相鄰位置的像素是否有相同的像素值，若有，則將其標(biāo)記為相同標(biāo)記。8鄰域在4鄰域的基礎(chǔ)上，額外加入了斜對角4個方向的像素來評估目標(biāo)像素的連通性。

圖像經(jīng)過連通性標(biāo)記后，所有像素擁有各自的標(biāo)記類別，再根據(jù)人為設(shè)定的閾值來去除小于一定面積的具有同種標(biāo)記類別的連續(xù)像素，使用此方法可以去除噪聲且不會破壞煙絲本身的完整性。進一步，可以通過調(diào)整閾值，去除識別圖像中面積過小的煙絲碎末等小顆粒物體。處理后的圖像如圖11所示。

圖11 去噪后的煙絲二值圖

去除噪聲之后，需要對煙絲進行骨架提取操作，骨架是二維二元目標(biāo)的重要拓撲描述[14]，其主要表示目標(biāo)物體中心的骨架部分，是描述圖像幾何和拓撲特性的重要特征之一。如圖12所示。

3.3 煙絲長度和寬度計算

骨架化會將二進制目標(biāo)對象減少到1像素寬的形式表示，從而可以統(tǒng)計出煙絲骨架中像素的具體構(gòu)成個數(shù)n，用其乘以相機的實際精度K就可以獲得較為精準的煙絲長度L（mm）。煙絲骨架如圖12所示。

圖12 煙絲骨架圖

式中：L為煙絲長度；n骨架像素個數(shù)；K為相機標(biāo)定時得到的相機精度值。

同樣，在煙絲骨架的基礎(chǔ)上，進行煙絲寬度的計算。將煙絲骨架當(dāng)作煙絲的中心線，在煙絲二值圖中求中心線上每個像素（像素值為1）到背景（像素值為0）的最短距離d（最少像素個數(shù)）。將中心線上的每個像素的最短距離相加求平均，獲得煙絲寬度的一半。煙絲整體寬度計算如式（3）所示

式中：n為煙絲中心線上像素的個數(shù)；di（i=1，2，3，…，n）為第i個像素到背景的最短距離；K為相機的標(biāo)定精度，Width為類煙絲寬度。

4 實驗與分析

4.1 對比試驗

為測試煙絲寬度計算方法的準確性，使用符合ISO 20193—2019[4]標(biāo)準的TPI150-Ⅱ型煙草數(shù)字投影儀進行對比試驗。實驗煙絲樣本容量為10根，實驗步驟為：①隨機挑選10根長度大于等于20 mm的煙絲；②將煙絲無重疊地水平放置在測試區(qū)域，進行圖像采集并使用算法計算并統(tǒng)計煙絲寬度；③取出測試區(qū)域的10根煙絲并垂直平整地粘貼在“煙絲寬度測量夾具”中（如圖13所示），將測量夾具放在煙草數(shù)字投影儀（如圖14所示）的測量平臺上；④移動測量平臺，尋找第一根煙絲的左邊緣進行測量點標(biāo)記（起點），后水平移動平臺，尋找煙絲右邊緣進行測量點標(biāo)記（終點），將2點之間的距離作為煙絲寬度；⑤反復(fù)執(zhí)行操作④，每根煙絲取20個寬度，并獲取平均值當(dāng)作最終寬度；⑥重復(fù)執(zhí)行操作④和⑤，直到10根煙絲全部測量完成。實驗結(jié)果統(tǒng)計見表1。

表1 儀器測量和算法測量煙絲寬度對比

圖13 煙絲寬度測量夾具圖

圖14 煙草數(shù)字投影儀界面圖

本實驗采用符合ISO標(biāo)準人工測量儀器和本文介紹的煙絲寬度測量算法作對比，采用相同10根實現(xiàn)樣本。結(jié)果所示，算法相較于ISO方法測量的標(biāo)準值，誤差范圍在0.1 mm之內(nèi)，標(biāo)準差σ=0.033 9 mm，平均相對誤差為4.16%。

4.2 實際運用

經(jīng)過實驗表明，煙絲測量算法相較于ISO標(biāo)準測量方法誤差在期望之內(nèi)，為進一步測試測量儀的整體效果，選取一定量的煙絲樣本進行較為完整的實驗。將煙絲樣本加入抖料裝置中，啟動抖料機器、相機系統(tǒng)和數(shù)據(jù)分析軟件獲取并分析數(shù)據(jù)。煙絲經(jīng)過抖料分離裝置打散分離成一根根獨立的煙絲，然后連續(xù)流入相機拍攝系統(tǒng)，通過圖像識別與后期計算，可以得到煙絲的各種尺寸形態(tài)特征數(shù)據(jù)。對整個畫面的煙絲進行統(tǒng)計分析，可以得到每張圖片所有煙絲的統(tǒng)計量，再對所有圖片數(shù)據(jù)進行加總統(tǒng)計分析，可以得到整批煙絲樣本的統(tǒng)計量。由圖15可知相機拍攝出來的某1張煙絲分布畫面，可以看出，煙絲經(jīng)過抖料系統(tǒng)得到了很好的分離。軟件系統(tǒng)可以分析每根煙絲的形態(tài)尺寸參數(shù)，表2列舉了圖15中煙絲A的尺寸形態(tài)參數(shù)，除了常規(guī)的長度和寬度，還可以測量每根煙絲的周長、面積和卷曲度等參數(shù)。表3統(tǒng)計了圖15中所有煙絲的長度分布及平均寬度等參數(shù)，表4則展示了整批樣本煙絲的整體統(tǒng)計結(jié)果。所設(shè)計的煙絲結(jié)構(gòu)檢測儀既能測量單根煙絲的參數(shù)，又能統(tǒng)計整批煙絲的結(jié)構(gòu)參數(shù)，提供了多維度多尺度的信息。

表2 圖15中煙絲A的尺寸形態(tài)參數(shù)

表3 圖15所有煙絲的統(tǒng)計量

表4 整批樣本煙絲總體統(tǒng)計量 （%）

圖15 單張圖相中的煙絲形態(tài)分布展示

5 結(jié)論

本文介紹了一種檢測煙絲結(jié)構(gòu)的在線檢測儀，其實現(xiàn)了從煙絲生產(chǎn)線上自動取料，通過振篩的方式分離并攤平煙絲，通過圖像采集系統(tǒng)獲取圖像參數(shù)較為穩(wěn)定的圖像，并通過鏡頭的畸變矯正盡可能地減少獲取圖像中的煙絲和真實目標(biāo)的誤差。煙絲檢測算法基于機器視覺，通過圖像分割，骨架提取等方式，來準確地計算煙絲的長度和寬度。

通過對比實驗驗證了算法煙絲寬度測量的平均相對誤差在5%以內(nèi)。在線檢測儀相較于離線的測量設(shè)備，其在保證一定的檢測精度下極大地提高了測量的效率，節(jié)省了人力和時間成本。所設(shè)計的煙絲結(jié)構(gòu)檢測儀既能測量單根煙絲的參數(shù)，又能統(tǒng)計整批煙絲的結(jié)構(gòu)參數(shù)，提供了多維度多尺度的信息，并且可以實現(xiàn)在線檢測分析，為制絲工藝質(zhì)量的監(jiān)控及精細調(diào)控提供了重要基礎(chǔ)支撐。