基于機器視覺的智能檢測技術(shù)在制筆業(yè)中的應(yīng)用

郭亨長，李麗

（上海晨光文具股份有限公司 中國輕工業(yè)制筆工程技術(shù)重點實驗室，上海，201406）

0.引 言

傳統(tǒng)的工業(yè)產(chǎn)品制造過程中，多數(shù)基于人工實現(xiàn)品質(zhì)檢驗分揀、依賴人工視覺離線檢測來完成。而機器視覺的目標(biāo)就是使機器通過觀察和學(xué)習(xí)，最終也會像人一樣具有適應(yīng)環(huán)境并自主學(xué)習(xí)的能力[1]。機器視覺作為智能制造技術(shù)的一個分支，主要通過處理分析圖像或者多維數(shù)據(jù)來獲取有用的信息，輔助智能制造系統(tǒng)進行判斷或分類等。機器視覺的特點有檢測精度高、快速、高效與非接觸等，使用機器視覺可以提升制造業(yè)水平，并且機器視覺在檢測領(lǐng)域可以發(fā)揮有利的作用[2]。近年來，機器視覺技術(shù)發(fā)展迅速，其非接觸式測量的客觀、可靠、無損傷及高精度等優(yōu)點滿足了現(xiàn)代制造業(yè)高效率生產(chǎn)的要求，可以用于測量、檢測、識別、定位等實際的工業(yè)現(xiàn)場中[3][4][5]，并被推廣于農(nóng)業(yè)[6]、醫(yī)藥[7]、紡織[8]、電子制造[9]等領(lǐng)域。對于制筆和辦公文體用品行業(yè)來說，機器視覺技術(shù)在國內(nèi)尚未得到推廣，質(zhì)量檢測、包裝等工序仍以手工勞動為主，檢測速度達不到大規(guī)模高速實時的要求。本文結(jié)合制筆工業(yè)的實際需要，通過開發(fā)基于機器視覺的筆頭、筆芯、零配件和包裝印刷智能檢測技術(shù)，應(yīng)用到制筆工業(yè)生產(chǎn)線各環(huán)節(jié)中。

1.機器視覺系統(tǒng)介紹

機器視覺系統(tǒng)通常包含硬件系統(tǒng)和軟件系統(tǒng)兩個組成部分。硬件系統(tǒng)主要包括光學(xué)系統(tǒng)、照明系統(tǒng)、機械系統(tǒng)、電氣系統(tǒng)等。軟件系統(tǒng)包含圖像采集、圖像處理、數(shù)據(jù)通信、人機交互等。一般機器視覺系統(tǒng)由工業(yè)相機、鏡頭、光源、光源控制器、圖像采集卡、傳感器、工控機、PLC控制結(jié)構(gòu)組成[10][11]。具體的流程是由光源控制器控制光源，光源照射在待檢測目標(biāo)上，傳感器觸發(fā)光學(xué)成像系統(tǒng)對檢測目標(biāo)進行圖像采集，圖像采集卡會將采集到的圖像傳輸至工控機，工控機對圖像進行分析判斷，并將判斷結(jié)果（如分類、剔除、報警等）傳送給PLC 控制系統(tǒng)。PLC 控制系統(tǒng)主要用于接收工控機判斷的結(jié)果并執(zhí)行分類、剔除、報警等動作。系統(tǒng)結(jié)構(gòu)圖如圖1所示。

圖1 系統(tǒng)結(jié)構(gòu)圖

2.筆頭的智能檢測技術(shù)

在金屬筆頭檢測環(huán)節(jié)，筆頭長度、球珠外露（露珠）、碗口質(zhì)量是影響筆頭質(zhì)量的直接因素[12]。在工業(yè)生產(chǎn)中，檢測標(biāo)準(zhǔn)要求筆頭的檢測誤差小于5μm。傳統(tǒng)的工業(yè)生產(chǎn)中采用人眼檢測，必須依靠顯微鏡、千分尺等輔助儀器。經(jīng)過計算，熟練檢測工每分鐘檢測筆頭不超過12 只，效率低于筆頭加工機每分鐘150 只以上的產(chǎn)量。

針對當(dāng)前在筆頭長度、露珠高度和碗口質(zhì)量檢測，開發(fā)了基于機器視覺的金屬筆頭智能檢測系統(tǒng)，提高檢測效率[13]。其軟件模塊主要包含圖像采集與處理、目標(biāo)檢測及質(zhì)量篩選三大模塊，軟件系統(tǒng)整體框架如圖2所示。主要對圖像采集速度與曝光時間、增益參數(shù)、相機安裝空間、筆頭檢測所在的環(huán)節(jié)和設(shè)定的節(jié)拍等進行有針對性的調(diào)節(jié)與改造，利用機器視覺算法構(gòu)建筆頭自動檢測視覺軟件系統(tǒng)。并使系統(tǒng)能應(yīng)用于工業(yè)中實際使用的電腦配置與系統(tǒng)，能與現(xiàn)場硬件設(shè)備進行通信連接使用。

圖2 軟件系統(tǒng)整體框架

針對筆頭的露珠檢測，通過計算機視覺進行的具體操作為：首先，通過工業(yè)相機進行圖像采集，通過讀取采集到的圖片并輸入智能圖像處理系統(tǒng)做數(shù)字化處理，再由該系統(tǒng)對圖像進行邊緣檢測。在邊緣檢測中采取的方式為，將邊緣弧線用最小二乘法圓度擬合，得到平滑完整的曲線輪廓。接著對擬合后的曲線圖形進行高度測量，最后以筆頭質(zhì)檢標(biāo)準(zhǔn)作為露珠高度是否合格的評判依據(jù)。測試效果如圖3所示，黑色陰影部分即筆頭和露珠的外輪廓，而綠色線條即為經(jīng)過機器視覺算法處理后擬合生成的線條，通過對線條的長度測量即可得知露珠露出的長度，最終判斷是否合格,檢測筆頭速度可達每分鐘120 只以上。

圖3 露珠高度測試效果圖

通過圖像采集和數(shù)字化，進入圖像處理系統(tǒng)進行濾波和增強等圖像處理，去除噪聲，增強對比度，得到可供計算機計算的圖像模式和參數(shù)，然后進行Blob 分析。通過分析可以在采集并處理過的圖像中獲取感興趣的碗口區(qū)域（即目標(biāo)區(qū)域ROI），最后利用邊緣檢測算法Canny 算子提取亞像素級邊緣，結(jié)合最小二乘法對圖像進行邊緣擬合，并利用差影法進行缺陷檢測與判斷，得到的最終筆頭缺陷測試效果，如圖4所示。圖中右邊為判斷不合格的產(chǎn)品，可以在圖中看到這套系統(tǒng)不僅能在結(jié)果中顯示是否合格，還可以將被檢測筆頭的各個參數(shù)一一列出，并將圖像中分析擬合出的邊緣用圓滑線條表示。

圖4 筆頭缺陷測試效果圖

進一步提升質(zhì)量檢測水平，將通過缺陷類別及特征庫建立，采用深度學(xué)習(xí)、實時識別等人工智能技術(shù)，進行在線檢測與準(zhǔn)確判斷。

3.筆芯的智能檢測技術(shù)

3.1 透明筆芯油墨與尾塞油注入量檢測技術(shù)

筆芯生產(chǎn)環(huán)節(jié)主要對油墨和密封油（尾塞油）注入量進行檢測。油墨和尾塞油注入量都有嚴(yán)格長度控制，誤差一般不能超過1mm。可以進行增加機器視覺檢測裝置，嵌入安裝于圓珠筆筆芯生產(chǎn)流水線之上，匹配流水線使用的計算機系統(tǒng)，實現(xiàn)實時性的透明筆芯油墨、尾塞油檢測。在接通剔除裝置控制信號過后，實時剔除不合格產(chǎn)品，顯著提高了檢測效率。透明筆芯的油墨與尾塞油注入量檢測技術(shù)算法流程如下圖5所示。

圖5 軟件算法流程

在實際生產(chǎn)中，流水線上筆芯正常傳輸，架設(shè)兩臺工業(yè)相機，分別采集油墨和尾塞油圖像進行灰度處理，設(shè)置閾值進行圖像分割處理。通過閾值設(shè)置后進行圖像切割處理，從而將油墨、尾塞油圖像切割開。油墨、尾塞油測試效果如圖6所示。

圖6 筆芯油墨、尾塞油測試效果圖

生產(chǎn)線基本參數(shù)主要包括鏈條運動速度、每次向前運送的筆芯數(shù)量及間距、節(jié)拍等。根據(jù)相機的像素、像元尺寸、視野范圍、景深要求、鏡頭到筆尖的距離等調(diào)整與設(shè)置工位。在應(yīng)用中利用軟件程序?qū)τ湍⑽踩瓦M行檢測，輔助以一定比例函數(shù)，可得到油墨、尾塞油注入量信息。經(jīng)過機器視覺算法運算與判斷，從而確保生產(chǎn)出的圓珠筆筆芯油墨與尾塞油注入量合格。該系統(tǒng)還可以通過對閾值切割的動態(tài)調(diào)整可實現(xiàn)對不同型號、不同規(guī)格的圓珠筆筆芯全兼容式檢測。

3.2 非透明筆芯油墨與尾塞油注入量檢測技術(shù)

非透明筆芯則不能從側(cè)面直接檢測墨水和尾塞油，而是通過光學(xué)定位筆芯尾端中心，再進行微距成像，通過油墨界面成像的模糊程度來估量油墨高度。如圖7所示，成像過程可以看作是點擴展函數(shù)對景物進行卷積的過程[14]。通過逆向工程進行倒推的的可逆計算[15]，可以得出由卷積后的模糊邊界推算出的景物的真實邊界，進而估算筆芯尾塞油高度，但是這種方式計算量大、效果得不到保證。因此，本套機器視覺智能檢測系統(tǒng)利用了對于成像系統(tǒng)來說，所獲取的圖像的清晰程度可以直接反應(yīng)其離焦程度[16]的特征關(guān)聯(lián)，通過計算筆芯尾端圖像中心位置的像斑模糊程度來估算筆芯尾塞油在筆芯管中所處高度，成功地在避免了大量的計算的同時得到了滿意的檢測結(jié)果。

圖7 景物邊界成像原理圖

智能圖像處理系統(tǒng)首先通過使用灰度方差法、差的平方和法、結(jié)構(gòu)相似性法和邊緣梯度法對采集到的數(shù)據(jù)進行清晰度評估。經(jīng)過實驗與對比，最終得到灰度方差法和結(jié)構(gòu)不滿足單峰性，差的平方和法無偏性較差，而邊緣梯度法的效果較好。如圖8所示，圖像可以完整并明顯地表現(xiàn)出矩形區(qū)域中圓斑的模糊程度，最終根據(jù)此模糊程度判斷出筆芯油墨高度是否合格，從而剔除掉油墨偏多或偏少的筆芯[17]。

圖8 非透明筆芯油墨注入量測試效果圖

4.劃線檢測技術(shù)

模擬人工劃線檢測筆芯書寫質(zhì)量，開發(fā)基于機器視覺的筆芯劃線缺陷檢測系統(tǒng)，同樣包含圖像采集與處理、目標(biāo)檢測及質(zhì)量篩選三大模塊。在生產(chǎn)線上的筆芯通過機械臂抓取，在紙帶上進行自動劃線，通過對筆芯書寫劃線拍攝并做形態(tài)學(xué)處理，根據(jù)特征值來判斷筆芯的書寫性能是否合格[18]。圖像處理由于直接通過二值化得到的圖像存在許多噪點以及不平整的邊緣，系統(tǒng)就在這里作濾波和開運算進行優(yōu)化，最終得到可用于應(yīng)用算法的圖像[19]。筆芯劃線全檢圖像處理過程如圖9所示。

圖9 筆芯劃線圖像處理分析圖

筆芯劃線缺陷測試效果如圖10所示。圖中斷墨的缺陷圖可以明顯看出經(jīng)過圖像處理得到的斷墨的起點和終點，并用紅色點標(biāo)注出。而積墨圖中可以明顯看出經(jīng)過計算機視覺圖像處理后的劃線積墨部分被藍色圈出并標(biāo)記。合格劃線圖無標(biāo)注。

圖10 筆芯劃線缺陷測試效果圖

5.零配件檢測技術(shù)

市場上圓珠筆不同的外觀和結(jié)構(gòu)有數(shù)千種，其零配件種類比較多，形狀各異，常見的檢測包括尺寸、形狀、結(jié)構(gòu)、外觀質(zhì)量、注塑缺陷等內(nèi)容。以晨光K35 中性筆握筆護套裝配過程涉及的形狀識別為例，開發(fā)了基于機器視覺的檢測零配件方向識別技術(shù)，并將其應(yīng)用于生產(chǎn)線上。通過采集大量正反樣本圖像并進行標(biāo)記，基于Pytorch 機器學(xué)習(xí)框架提供的預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)CNN 模型，利用多模型特征向量融合技術(shù)及遷移學(xué)習(xí)技術(shù)，構(gòu)建二分類監(jiān)督學(xué)習(xí)模型，對護套的正反方向進行判斷。經(jīng)過反復(fù)調(diào)參提高模型的泛化能力，最終通過對護套方向的準(zhǔn)確判斷從而向機械臂發(fā)送正確的行為指令。模型構(gòu)建流程圖如圖11所示。

圖11 機器視覺檢測流程圖

6.包裝印刷檢測技術(shù)

圓珠筆生產(chǎn)除了上述零配件裝配，還需要進行貼標(biāo)和包裝。在實際生產(chǎn)中印刷機器、轉(zhuǎn)印膜等諸多外界因素干擾，偶爾出現(xiàn)標(biāo)簽印刷瑕疵。因此針對標(biāo)簽印刷與貼合的問題，計算機視覺智能圖像檢測系統(tǒng)利用模版匹配的方式，可以實現(xiàn)除了檢測漏印缺印、偏色、臟點墨點、拉邊毛邊、錯位偏位等常規(guī)缺陷外，還可對文字?jǐn)?shù)字錯誤、小數(shù)點、型號條形碼等做精確檢測。

基于Python 語言的強可讀和完全開源特性，采用Python 作為開發(fā)語言，使用Anaconda 軟件作為開發(fā)環(huán)境，利用深度學(xué)習(xí)圖像特征提取方法以及監(jiān)督學(xué)習(xí)多標(biāo)簽檢測分類方法，實現(xiàn)此印刷檢測技術(shù)。前期進行了大量圖像采樣，并基于百度EasyDL 進行圖像打標(biāo)簽處理，分別對圖像進行多標(biāo)簽標(biāo)記；然后基于PIL 及OpenCV 強大的圖像處理能力對圖像進行灰度圖轉(zhuǎn)化，圖像旋轉(zhuǎn)，大小縮放，中心剪裁等圖像增強，采用基于百度PaddleHub 的卷積神經(jīng)網(wǎng)絡(luò)圖像分類模型對圖像進行特征提??；繼而利用基于Scikitlearn 的集成算法構(gòu)建分類器，對提取出來的特征向量進行多標(biāo)簽分類模型訓(xùn)練。利用深度神經(jīng)網(wǎng)絡(luò)的前向傳遞及反向傳播機制，借助百度AIStudio GPU 服務(wù)器進行模型finetune 訓(xùn)練，使模型對圖像數(shù)據(jù)集進行擬合，并在圖像測試集上進行預(yù)測結(jié)果驗證，反復(fù)調(diào)參，增強模型泛化能力。最終實現(xiàn)對標(biāo)簽圖案的缺陷檢測，其流程如圖12所示：

圖12 包裝印刷智能檢測流程

7.總 結(jié)

綜上所述，基于機器視覺的智能檢測技術(shù)適合制筆工業(yè)生產(chǎn)過程的質(zhì)量檢測，所開發(fā)硬件和軟件在筆頭、筆芯、零配件和印刷包裝等環(huán)節(jié)均成功得到應(yīng)用。隨著智能制造技術(shù)應(yīng)用越來越廣泛，在制筆行業(yè)中，相對傳統(tǒng)的人工檢測，基于機器視覺的智能檢測一方面可以提高生產(chǎn)效率，降低企業(yè)成本，另一方面可以提升產(chǎn)品品質(zhì)，為企業(yè)帶來更大的品牌價值。新的智能技術(shù)與制造業(yè)的深度融合，正在引發(fā)影響深遠的產(chǎn)業(yè)變革，形成新的生產(chǎn)方式、產(chǎn)業(yè)形態(tài)、商業(yè)模式和經(jīng)濟增長點[21]。