智能制造裝備視覺成像技術(shù)應(yīng)用現(xiàn)狀

張廣宇，朱家昌

（1.無錫中微高科電子有限公司，無錫 214035；2.中國電子科技集團(tuán)公司第五十八研究所，無錫 214072）

0 引言

機(jī)器視覺（machine vision）是人工智能技術(shù)的重要分支，應(yīng)用于智能制造領(lǐng)域時借助數(shù)字成像技術(shù)采集待測物體的高質(zhì)量圖像信息，使用數(shù)字圖像處理技術(shù)提取有效特征自動完成非接觸式的尺寸測量［1］、產(chǎn)品定位［2］、缺陷識別［3］等功能。其中數(shù)字成像部分關(guān)系著機(jī)器視覺在“眼看”的過程中是否會出現(xiàn)亮度失衡、圖像虛焦、噪聲干擾、對比度低、背景混淆等不理想圖像［4］。圖像算法處理不理想圖像需使用復(fù)雜度較高的頻域濾波或深度學(xué)習(xí)等算法進(jìn)行處理，不僅增加時間，還會提高誤檢率，甚至影響視覺檢測項目的可行性。本文著重總結(jié)了視覺成像的相機(jī)、鏡頭、光源等硬件能力的發(fā)展現(xiàn)狀，并根據(jù)硬件參數(shù)分析了提高成像質(zhì)量的方法。

1 視覺成像系統(tǒng)硬件發(fā)展現(xiàn)狀

1.1 工業(yè)相機(jī)發(fā)展現(xiàn)狀

工業(yè)相機(jī)是將光學(xué)模擬信號轉(zhuǎn)換為數(shù)字信號的設(shè)備，傳統(tǒng)工業(yè)相機(jī)圖像傳感器一般為電荷耦合元件（charge coupled device，CCD），隨著CMOS傳感器技術(shù)的發(fā)展，在最大分辨率、功耗、采集速度及生產(chǎn)成本上都優(yōu)于傳統(tǒng)的CCD傳感器［5］。

相機(jī)的成像原理是傳感器根據(jù)光照強(qiáng)度產(chǎn)生對應(yīng)的電信號，將電信號分級后映射為圖像灰度值。根據(jù)相機(jī)成像位寬，電信號分為256（8 bit）級或4096（12 bit）級，分別對應(yīng)了圖像上的256級灰度或4096級灰度，其中灰度為0表示該像素點為純黑，灰度值255或4095表示該像素為純白［6］。

工業(yè)相機(jī)根據(jù)像元（最小成像單元，每個像元對應(yīng)成像后的一個像素）的排列方式分為面陣相機(jī)和線陣相機(jī)。面陣相機(jī)的像元排列成一個矩陣形式的面，線陣相機(jī)的像元排列成一條線，線陣行數(shù)根據(jù)不同品牌與型號的設(shè)計不一樣，但一般不超過256行。

目前工業(yè)相機(jī)的數(shù)據(jù)傳輸接口一般有GigE、USB 3.0、CameraLink、COAXpress（CXP）［7］，其中GigE與USB 3.0一般應(yīng)用于25M以下的中小分辨率的中低頻相機(jī)的數(shù)據(jù)傳輸，CameraLink與CXP應(yīng)用在29 M以上分辨率或者超高頻相機(jī)的數(shù)據(jù)傳輸。當(dāng)相機(jī)分辨率在25 M及以上或使用Camera?Link、CXP的數(shù)據(jù)接口時，需在主機(jī)上安裝專用采集卡進(jìn)行圖像數(shù)據(jù)預(yù)處理，否則會占用主機(jī)較多計算資源。

1.2 鏡頭發(fā)展現(xiàn)狀

工業(yè)鏡頭的選取影響著成像質(zhì)量、檢測精度、相機(jī)工作距離等要素［8］。工業(yè)鏡頭主要分為FA鏡頭與遠(yuǎn)心鏡頭兩大類，普通FA鏡頭主要有焦距、景深、光圈、靶面尺寸、視場角、解析力等參數(shù)，一般具有調(diào)節(jié)光圈與對焦的功能。

由于光線在透鏡邊緣比在透鏡中心彎曲程度更大，從而導(dǎo)致實際成像時產(chǎn)生徑向畸變，使圖像失真，一般通過張氏標(biāo)定方法，借助已知尺寸的棋盤格，計算出相機(jī)內(nèi)參，再通過算法對每次采集的圖像進(jìn)行矯正，減少畸變對成像的影響。

遠(yuǎn)心鏡頭是一種特制鏡頭［9］，主要有景深、靶面尺寸、放大倍數(shù)、工作距離等參數(shù)。有些遠(yuǎn)心鏡頭側(cè)面有點光源接口，可與點光源組成類似同軸光使用。遠(yuǎn)心鏡頭避免了FA鏡頭因凸透鏡帶來的各種問題，沒有畸變且視場角為0，如圖1所示，與常規(guī)FA鏡頭比視線垂直于物體，減少了很多側(cè)面干擾，且鏡頭放大倍數(shù)恒定，多用于高精度尺寸測量、高精度表面缺陷AOI上。

圖1 大視場角鏡頭與遠(yuǎn)心鏡頭成像效果

1.3 光源發(fā)展現(xiàn)狀

光源為視覺系統(tǒng)提供照明，合適的光源可增強(qiáng)缺陷與背景的對比度，抑制噪聲與背景對缺陷成像的干擾，大大降低檢測算法的復(fù)雜度，提高檢測效率［10］。

目前機(jī)器視覺使用的光源一般使用能效比較高、壽命較長的LED燈珠組成，外殼選采用熱較好的鋁材，表面涂裝黑色氧化層，防止環(huán)境光在表面反射對成像產(chǎn)生干擾。光源根據(jù)燈珠發(fā)光波長分為白光、紅光、綠光、藍(lán)光、紅外、紫外光源；根據(jù)光源幾何結(jié)構(gòu)與出射光種類分為環(huán)形光、面光、點光、條形光、同軸光、球積分光等基礎(chǔ)類別，同時環(huán)形光與條形光可根據(jù)項目的具體要求選擇在發(fā)光口添加高亮度漫反射板、高均勻性漫反射板或準(zhǔn)直板來調(diào)整光線出射方式，所以工業(yè)上AOI可使用的光源種類非常多［11］。

2 數(shù)字成像質(zhì)量提升技術(shù)

2.1 相機(jī)選型調(diào)參技術(shù)

工業(yè)面陣相機(jī)分辨率范圍在5～151 M，主要優(yōu)勢是借助面陣相機(jī)密集排列的像元生成的圖像坐標(biāo)與世界坐標(biāo)的標(biāo)定后完成物品尺寸測量、二維定位、角度測量等高精度測量功能。面陣相機(jī)用在待檢物品長寬比適中、表面平整、尺寸較小的應(yīng)用場景，高精度測量時需注意搭配使用畸變較小、視場角為0的遠(yuǎn)心鏡頭［12］。

工業(yè)線陣相機(jī)分辨率范圍在2～23 K，主要優(yōu)勢是單次只完成圖像上N行像素成像，再通過軟件按照設(shè)定參數(shù)拼接為一張完整圖像，成像時不需要考慮視野的長寬比、圓柱形待測品的曲面度等因素，具有較靈活的成像方式，適用于待檢物品長寬比較大或圓柱表面成像的應(yīng)用場景［13］。在圓柱形齒輪側(cè)面成像過程中，如圖2（a）所示，面陣相機(jī)需分多次拍攝，且每次成像效果不清晰。圖2（b）所示線陣相機(jī)可在設(shè)置相關(guān)參數(shù)與齒輪轉(zhuǎn)速匹配后持續(xù)成像，且成像效果較好。

圖2 面陣相機(jī)與線陣相機(jī)成像差異（續(xù)）

圖2 面陣相機(jī)與線陣相機(jī)成像差異

線陣相機(jī)需搭配電機(jī)使用，拍攝時要求相機(jī)與產(chǎn)品在檢測方向上有相對的勻速運(yùn)動，且移動速率與相機(jī)相機(jī)相關(guān)參數(shù)匹配，使得每次線陣相機(jī)采集區(qū)域都是剛好緊鄰上一次采集區(qū)域的邊緣，否則在成像效果上會出現(xiàn)產(chǎn)品移動方向上的圖像壓縮或拉伸，影響后續(xù)圖像算法的檢測效果。根據(jù)定義，線陣相機(jī)與待測物品相對速度為：

其中，v表示相對線速度，fgrab表示線陣相機(jī)采集頻率，lpixel表示圖像單像素對應(yīng)實際空間尺寸。若產(chǎn)品在流水線上勻速運(yùn)動，可根據(jù)光電傳感器判斷產(chǎn)品是否已經(jīng)進(jìn)入拍攝位，控制線陣相機(jī)采集圖像的時間。在采集圓柱形產(chǎn)品側(cè)面圖像時，需保證圓柱形產(chǎn)品達(dá)到勻速旋轉(zhuǎn)后方可進(jìn)行圖像采集，采集時間為：

其中，t表示線陣相機(jī)采集時間，R表示圓柱形產(chǎn)品的半徑。根據(jù)上述公式調(diào)整相關(guān)參數(shù)后，還需使用棋盤格對線陣相機(jī)采集效果進(jìn)行驗證。通過計算棋盤格在運(yùn)動方向與垂直方向上的比值，獲取圖像縮放比例，再通過調(diào)整相機(jī)采集頻率或相對移動速度進(jìn)行校正。

2.2 檢測精度提升技術(shù)

視覺檢測精度是衡量機(jī)器視覺系統(tǒng)最小可檢測空間尺寸的標(biāo)準(zhǔn)，在尺寸測量、物體定位、缺陷檢測等應(yīng)用中是關(guān)鍵技術(shù)指標(biāo)。影響機(jī)器視覺系統(tǒng)檢測精度的因素主要來源于成像系統(tǒng)硬件參數(shù)與檢測算法，且成像系統(tǒng)的硬件參數(shù)為主要原因。在成像過程中，光信號由鏡頭進(jìn)行光路控制后聚焦到相機(jī)靶面上，相機(jī)靶面將光信號由模擬信號轉(zhuǎn)化為數(shù)字信號，最終生成位圖圖像。所以影響檢測精度相關(guān)參數(shù)主要有相機(jī)分辨率、鏡頭放大倍數(shù)、鏡頭分辨率等，且鏡頭分辨率需大于相機(jī)分辨率［14］。成像的過程可以看作將三維世界在相機(jī)方向進(jìn)行投影變換后映射到離散的二維圖像像素中，單像素與實際空間尺寸的對應(yīng)關(guān)系為：

其中，lp表示單像素對應(yīng)的空間尺寸，也可稱為相機(jī)實際采樣間距，lp的數(shù)值越小，表明像元截止頻率越大，檢測精度越高。lcell表示相機(jī)像元尺寸，Χlens表示鏡頭的放大倍數(shù)。

圖3 傳統(tǒng)鏡頭光路示意圖

使用傳統(tǒng)工業(yè)鏡頭成像時的光路信息示意圖如圖所示，由相似三角原理可知：

其中，f為鏡頭焦距，WD為鏡頭到視野面的距離，W為視野尺寸，w為相機(jī)靶面尺寸。根據(jù)放大倍數(shù)定義可知：

由式（6）可知，在檢測算法不變的條件下，lcell與WD的數(shù)值越小，f的數(shù)值越大，機(jī)器視覺檢測精度越高。在對工業(yè)相機(jī)進(jìn)行選型時，理論上像元尺寸越小對應(yīng)的檢測精度越高。但像元尺寸過小，成像則易受電噪聲的影響導(dǎo)致圖像信噪比（signal noise ratio，SNR）下降，所以選用像元較大的相機(jī)搭配放大倍數(shù)較大的鏡頭成為檢測精度優(yōu)化的主要方式。同時相機(jī)的視野與鏡頭放大倍數(shù)的關(guān)系為：

其中SFOV表示相機(jī)視野，Npixel表示相機(jī)像元數(shù)量（相機(jī)分辨率），當(dāng)Χlens數(shù)值過大會導(dǎo)致視野SFOV變小，需要根據(jù)實際項目檢測范圍尺寸需求計算相應(yīng)硬件參數(shù)。工業(yè)鏡頭分辨率主要被像差及光的衍射影響，像差的產(chǎn)生因素主要是由于透鏡曲面的中心與邊緣對光線的折射不同導(dǎo)致，分為色像差（chromatic aberration）與賽德爾的五像差（five aberration of seidel），通過選擇校正到瑞利極限高質(zhì)量工業(yè)鏡頭可以將像差影響降至最低。所以影響鏡頭分辨率的主要因素來源于光的衍射，判別鏡頭分辨率的主要標(biāo)準(zhǔn)為瑞利準(zhǔn)則（rayleigh crite?rion）：

其中，l表示鏡頭能分辨的最小直徑，f為鏡頭焦距，R為鏡頭入瞳半徑，λ為光線波長，目前工業(yè)鏡頭分辨率可以滿足工業(yè)相機(jī)最小分辨率的需求。

2.3 對比度增強(qiáng)技術(shù)

為降低圖像算法復(fù)雜度，機(jī)器視覺成像時需盡量增強(qiáng)感興趣區(qū)域的成像效果，抑制背景（干擾區(qū)域）的成像效果，盡量增強(qiáng)前景與背景區(qū)域的對比度，從而提高視覺系統(tǒng)的檢測效率與檢測精度［15］。理想的成像對比度是感興趣區(qū)域為白色（灰度值為2n-1，n為相機(jī)成像位寬），背景區(qū)域為黑色（灰度值為0）。對比度增強(qiáng)需根據(jù)不同視覺檢測場景、待測品外觀、材料特性設(shè)計出不同的方法。

對有凹凸結(jié)構(gòu)的產(chǎn)品表面成像，如檢測產(chǎn)品表面結(jié)構(gòu)紋理、異物、劃痕、裂紋等缺陷可使用暗場照明方式，使產(chǎn)品表面凹凸區(qū)域成像明亮，平整區(qū)域成像暗淡，提高凹凸區(qū)域與背景的對比度，抑制平整區(qū)域圖案灰度信息對檢測凹凸區(qū)域成像的干擾,照明效果與明場對比如圖4所示。

圖4 相同物品明暗場照明效果差異

暗場照明僅在平滑表面可取得良好的成像效果［16］，如平整的玻璃、金屬、硅晶片等材料構(gòu)成的產(chǎn)品，若用在粗糙表面在成像上反而會產(chǎn)生遍布整個面的干擾亮點，使成像無法使用。

測量非透明產(chǎn)品尺寸或需要基于邊緣的定位應(yīng)用中，使用面光背面照明，使產(chǎn)品邊緣清晰成像，產(chǎn)品區(qū)域灰度值很低，非產(chǎn)品區(qū)域灰度值很高，對比度高易于區(qū)分。

對于顏色干擾較多的產(chǎn)品表面，可使用與目標(biāo)顏色相近的彩色光源或使用多光譜光源進(jìn)行照明，同時搭配單通道相機(jī)?；蚴褂门c目標(biāo)顏色相近波長的濾波片，將干擾光濾除。對于產(chǎn)品表面光滑，易被環(huán)境反射光干擾的，由于反射光為偏振光，可使用偏振片對反射光進(jìn)行濾除，偏振片加裝前后效果對比如圖5所示。

圖5 偏振片加裝前后成像效果對比

對于一些紋理復(fù)雜的產(chǎn)品，如圖拉絲鋼板或皮革表面的刻印碼使用傳統(tǒng)成像方式效果很差，無法識別。需借助3D視覺成像技術(shù)完成對產(chǎn)品表面的深度信息采集［17］，通過對深度信息進(jìn)行閾值處理即可得到清晰的刻印碼。圖6即為拉絲鋼板刻印碼成像效果（左）與深度信息閾值處理后的效果（右）對比。

圖6 拉絲鋼板刻印碼成像效果對比

2.4 噪聲抑制技術(shù)

數(shù)字成像中圖像噪聲主要來源于電噪聲，噪聲過多影響算法檢測精度，增加算法復(fù)雜度。抑制成像產(chǎn)生的噪聲主要是抑制電噪聲對成像的影響。

相機(jī)生成圖像原理是將曝光時間內(nèi)采集到的電荷總量通過電容轉(zhuǎn)換為電壓，曝光時間越長，累積的電荷越多，生成的圖像灰度值越大。電噪聲中主要的散粒噪聲來源于相機(jī)像元將光信號轉(zhuǎn)換為電信號時由于量子漲落產(chǎn)生的隨機(jī)波動，當(dāng)曝光時間越長散粒噪聲累加后對圖像灰度值影響越大［18］。所以當(dāng)照明環(huán)境比較暗時，實際的光信號較弱，同時設(shè)置的曝光時間會增加，導(dǎo)致電噪聲對成像的影響大于對應(yīng)像元獲取的光信號影響，圖像產(chǎn)生較多的白噪聲，使用圖像降噪算法處理后使圖像細(xì)節(jié)丟失，造成檢測精度下降。在成像上抑制散粒噪聲的方式為增加光源亮度，調(diào)大鏡頭光圈，使光信號強(qiáng)度增加；同時減小相機(jī)曝光時間，減少噪聲對電信號的影響。調(diào)大光圈可減少鏡頭內(nèi)部灰塵對成像的影響，但同時會減少景深，需根據(jù)實際情況選擇合適的F值；抑制噪聲的同時需控制圖像整體灰度值防止相機(jī)過曝。

3 結(jié)語

應(yīng)用于工業(yè)機(jī)器視覺的數(shù)字成像技術(shù)為后續(xù)的圖像算法處理提供高質(zhì)量產(chǎn)品圖像，需根據(jù)產(chǎn)品表面光學(xué)屬性與檢測需求進(jìn)行成像系統(tǒng)設(shè)計。使感興趣區(qū)域的成像效果增強(qiáng)，同時抑制干擾因素對后續(xù)算法處理的影響，從而降低算法復(fù)雜度。數(shù)字成像技術(shù)作為機(jī)器視覺的基礎(chǔ)，涉及基于透鏡的光路控制、光信號的A-D轉(zhuǎn)換、照明系統(tǒng)設(shè)計等光學(xué)技術(shù)，也包含基于圖像算法原理來選擇數(shù)字成像質(zhì)量的優(yōu)化方向。在對成像核心硬件的充分了解下，根據(jù)機(jī)器視覺檢測目標(biāo)及技術(shù)指標(biāo)對相機(jī)進(jìn)行選型、對成像分辨率進(jìn)行優(yōu)化、對前景與背景成像對比度進(jìn)行優(yōu)化、對成像噪聲進(jìn)行抑制，從而提高圖像算法的檢測精度與檢測效率。