基于智能相機的模組視覺定位系統(tǒng)

薛海輝，石 峰，柳 君，王昭鵬

（浙江中控技術股份有限公司 創(chuàng)新創(chuàng)業(yè)總部，杭州310053）

在石墨烯模組生產(chǎn)過程中，流水線上的模組在進入點膠機前需要工人依次將其拾起并安裝在點膠機定位凸模上，然后由點膠機進行模組點膠。如果采用工業(yè)機械臂上料方案，方案就必須滿足模組自動上線的設計要求，即V 型凹槽模組安裝在點膠機定位凸模上的成功率要求在99.2%以上。由于石墨烯模組每次到達烘道出口的位置及模組V 型槽角度姿態(tài)均存在差異，因此在工業(yè)機械臂抓取前必須借助視覺系統(tǒng)完成模組定位檢測，獲取模組當前位置X，Y值及V 型槽旋轉角度數(shù)據(jù)，從而引導工業(yè)機械臂抓取及放置模組，實現(xiàn)模組自動上線。

1 系統(tǒng)總體設計

1.1 智能相機模組視覺定位系統(tǒng)

智能相機是一種高度集成化的、微小型的機器視覺系統(tǒng)，屬于系統(tǒng)范疇；而工業(yè)相機只屬于機器視覺系統(tǒng)中的一部分，屬于工業(yè)元件范疇[1]。

在機器視覺的使用中，工業(yè)相機多是基于CCD或CMOS 芯片的相機，在使用時需要外接DMA 控制器來實現(xiàn)實時進行數(shù)據(jù)采集與存儲。另外，編程人員需要具備一定的C#，C++或JAVA 等計算機編程語言技能。

而智能相機由于應用了最新的DSP，F(xiàn)PGA 及大量存儲技術，它將圖像采集單元、圖像處理單元、數(shù)據(jù)通信單元統(tǒng)一集成在智能相機內(nèi)部，因此無需再外接DMA 控制器，就可以獨立進行圖像檢測工作。在實際使用中，智能相機視覺系統(tǒng)在圖形用戶界面（GUI）Spreadsheet 區(qū)域可以通過調用函數(shù)的方法來實現(xiàn)對視覺系統(tǒng)的二次開發(fā)。

在視覺系統(tǒng)中，圖像采集質量的優(yōu)劣在很大程度上受限于所選光源的質量。為了獲得理想的照明效果，可以根據(jù)實際應用場景選擇適合場景的照明裝置。按照具體的照明方法分類，照明可以分為背向照明、前向照明、結構光和頻閃光照明等[2]。一般為了利于安裝，可以采用前向照明方式[3]。

1.2 網(wǎng)絡構架示意

石墨烯模組智能相機視覺系統(tǒng)在沒有其它外部設備需要進行通訊的情況下，可以直接與工業(yè)機械臂進行TCP/IP 通訊，主要采用工業(yè)以太網(wǎng)通訊技術，引導工業(yè)機械臂到達指定目標位置。石墨烯模組視覺系統(tǒng)網(wǎng)絡架構如圖1所示。

圖1 石墨烯模組視覺系統(tǒng)網(wǎng)絡架構Fig.1 Network architecture of graphene module vision system

設備IP 地址分配與規(guī)劃：智能相機IP 地址（192.168.20.100）；工業(yè)計算機IP 地址（192.168.20.101）；工業(yè)機械臂IP 地址（192.168.20.102）。

圖像采集單元包括鏡頭、相機、光源、光源控制器等[4]。智能相機圖像采集單元等價于CCD 相機或CMOS 相機及圖像采集卡，傳輸數(shù)字圖像到圖像處理單元[5]。

圖像處理單元同樣也被集成在智能相機之中，它不僅可以實時存儲圖像數(shù)據(jù)，而且還可以獨立完成圖像處理任務。

圖像處理軟件為圖像處理單元硬件提供邊緣提取、特征捕捉等算法，支持圖像處理單元硬件完成圖像處理[6]。

網(wǎng)絡通信裝置其主要功能是完成控制信息和圖像數(shù)據(jù)的通信任務。智能相機模組視覺定位系統(tǒng)采用TCP/IP 通訊協(xié)議，通過工業(yè)以太網(wǎng)進行數(shù)據(jù)有效傳輸。

2 工作原理

使用智能相機模組視覺定位系統(tǒng)對石墨烯模組產(chǎn)品外觀圖像進行圖像背景處理、輪廓像素點提取、形狀特征提取，以實現(xiàn)對模組的識別。通過觀察石墨烯模組外觀得出，模組外側由眾多環(huán)繞圓心生成的筋板組成，筋板顏色為深黑色；模組內(nèi)圓組成部分表面為銀白色，材質表面具有反光性；外圓與內(nèi)圓之間設計有V 型槽，用于模組在點膠機工裝板上定位。產(chǎn)品外觀與特征局部如圖2所示。

圖2 產(chǎn)品外觀圖與特征局部圖Fig.2 Product appearance diagram and feature local diagram

利用視覺系統(tǒng)圖像處理軟件中的幾何邊緣提取算法，獲得石墨烯模組的內(nèi)圓參數(shù)，系統(tǒng)自動標定出模組的幾何圓心位置。通過捕捉圖像特征，首先識別出模組上V 型槽角特征，標定出V 型槽的角平分線。

由于智能相機模組視覺定位系統(tǒng)可以同時采集多組產(chǎn)品特征，因此可以同時標定出V 型槽的角平分線和過圓心的基準線。過圓心的基準線與V 型槽角平分線二者之間的夾角即為所求平面內(nèi)模組旋轉角度。

3 設計過程

3.1 圖像幾何邊緣的提取與特征捕捉

圖像的邊緣匯集了圖像的大部分信息，邊緣檢測對于圖像識別具有重要意義。圖像f（i，j）灰度值的梯度可使用一階差分來進行近似：

式中：Δx f（i，j）為點（i，j）處沿x方向一階差分；Δy f（i，j）為點（i，j）處沿y方向一階差分。

圖像f（i，j）在x和y兩個方向上偏導數(shù)的兩個矩陣[7]為

式中：P［i，j］為x方向偏導數(shù)矩陣；Q［i，j］為y方向偏導數(shù)矩陣。

對圖像灰度剖面進行分析可以得出，在圖像灰度剖面中圖像灰度值從較小的一個灰度值緩沖區(qū)急劇過渡到一個較大灰度值。借助離散化梯度逼近函數(shù)可以計算出圖像灰度矩陣的灰度躍變位置：

式中：（x，y）為像素的模板坐標；σ 為正態(tài)分布的標準偏差。

然而圖像中梯度值較大的點并不能代表該點就是邊緣，確定圖像邊緣還需要對圖像中梯度值較大的點實行非極大值抑制[8]。實行非極大值抑制是邊緣確定與提取的關鍵，圖像梯度幅值非極大值抑制可以有效地把非極大值點所對應的灰度值置為零，從而確定圖像邊緣。圖像幾何邊緣提取如圖3所示。

圖3 圖像幾何邊緣提取Fig.3 Geometric edge extraction of image

內(nèi)圓提取：內(nèi)圓可以通過調用“FIND CIRCLE”函數(shù)來實現(xiàn)提取，內(nèi)圓圓環(huán)：｛X，Y，Inner Radius，Outer Radius｝。在環(huán)形圖像區(qū)域內(nèi)定位單個圖像邊緣，“FIND CIRCLE”通過對同心圓上的像素值求和，以生成圖像區(qū)域的一維投影，沿半徑增大的方向掃描，從投影圖像數(shù)據(jù)中提取邊緣變換。

測量線0 與線1 兩條直線夾角可以通過調用“LINE TO LINE”函數(shù)來實現(xiàn)，其中，線0：｛X0，Y0，X1，Y1｝；線1：｛X2，Y2，X3，Y3｝。

對象特征的捕捉：圖像分割是圖像特征提取的前提，圖像分割效果直接影響系統(tǒng)獲取形狀特征參數(shù)的準確性[9]。系統(tǒng)提取圖像特征首先對圖像進行自動分割，劃分出特征區(qū)域。然后根據(jù)特征區(qū)域提取出圖像特征，并建立起圖像特征索引[10]。最后再通過檢查特征區(qū)域內(nèi)每個像素由此判斷該像素是否屬于同一個特征。

在圖形用戶界面的Spreadsheet 中，插入函數(shù)做出產(chǎn)品中心檢測工具、產(chǎn)品偏差輸出工具，如圖4所示。

圖4 Spreadsheet 中創(chuàng)建檢測工具Fig.4 Create a instrumentation tool in the Spreadsheet

3.2 相機標定

通過智能相機視覺系統(tǒng)采集石墨烯模組的標定位置圖像，即模組標準位置、模組東、西、南、北、東北、西北、東南、西南9 張位置圖像，如圖5所示。

圖5 相機標定采集圖像Fig.5 Camera calibration and image acquisition

依次完成對1.000～9.000 9 點位置調整（標定）如圖6所示，調用視覺軟件模塊化標定工具快捷地完成整個標定過程。

圖6 視覺軟件標定工具Fig.6 Visual software calibration tool

3.3 設置視覺系統(tǒng)目標位置引導范圍

為了保證工業(yè)機械臂對目標位置的到達能力同時也為了避免在引導過程中機械臂因關節(jié)軸運動與安裝在臂上的相機、光源發(fā)生位置干涉（碰撞），特此設置視覺系統(tǒng)目標位置引導范圍。

設置模組X方向偏移引導范圍為-100.000～+100.000 mm，引導前如果模組當前位置X值與相機標定基準位置X值的差值不在-100.000～+100.000 mm的范圍內(nèi)，視覺系統(tǒng)則不向機械臂發(fā)送目標位置X，Y及角度引導數(shù)據(jù)。

設置模組Y方向偏移引導范圍為-100.000～+100.000 mm，引導前如果模組當前位置Y值與相機標定基準位置Y值的差值不在-100.000～+100.000 mm的范圍內(nèi)，視覺系統(tǒng)則不向機械臂發(fā)送目標位置X，Y及角度引導數(shù)據(jù)。

設置角度偏移引導范圍為-135.000～+135.000°，引導前如果模組當前位置V 型槽角平分線與相機標定基準位置V 型槽基準線差值不在-135.000～+135.000°的范圍內(nèi)，視覺系統(tǒng)則不向機械臂發(fā)送目標位置X，Y及角度引導數(shù)據(jù)。

4 實驗結果分析

石墨烯模組視覺定位系統(tǒng)檢測結果如圖7所示，實驗結果表明，采用130 萬像素智能相機解決方案，視覺系統(tǒng)成功獲取到隨機擺放的石墨烯模組X，Y位置及旋轉角度A值。

圖7 視覺定位系統(tǒng)檢測結果Fig.7 Visual location system test results

在引導工業(yè)機械臂抓取放置實驗中，每組測試500 件石墨烯模組，分4 組依次對不同批號石墨烯模組進行機械臂自動上線抓取放置實驗，工業(yè)機械臂對模組抓取及放置結果如表1所示。

表1 引導機械臂抓取及放置結果Tab.1 Result of guiding the arm to grasp and place

5 結語

本文從智能相機的顯著優(yōu)勢談起，介紹了智能相機模組視覺定位系統(tǒng)的網(wǎng)絡架構、工作原理等內(nèi)容。以“FIND CIRCLE”，“LINE TO LINE”等函數(shù)為例論述了智能相機模組視覺定位系統(tǒng)圖像處理軟件的函數(shù)調用功能，以及圖像幾何邊緣提取、對象特征捕捉的實現(xiàn)過程。通過在軟件平臺創(chuàng)建系統(tǒng)定位檢測工具完成相機標定，獲取到隨機擺放的石墨烯模組X，Y位置及旋轉角度。為引導工業(yè)機械臂抓放模組自動上線提供了穩(wěn)定、可靠的數(shù)據(jù)支撐。通過完成對不同批號石墨烯模組的分組測試，實驗結果表明該石墨烯模組視覺定位系統(tǒng)滿足模組自動上線的設計要求，模組安裝在點膠機定位凸模上的成功率均在99.2%以上。