應用Harris角點檢測進行圖像拼接的超長板材尺寸測量方法1)

潘屾 王克奇 侯弘毅 張怡卓

(東北林業(yè)大學，哈爾濱，150040)

基于視覺測量的尺寸檢測系統(tǒng)，是以計算機視覺為基礎，集成光學技術、計算機技術、測量技術等為一體的一種檢測技術手段。在實際生產過程中，該測量方法能夠有效避免人工檢測速度慢、測量結果受人為因素影響、精度無法保證的問題[1]。同時，采用計算機視覺方法，可以實時在線對產品的尺寸進行測量，隨時報告產品尺寸變化，提高產品質量[2]。

尺寸測量主要有以下處理步驟，先對整個測量系統(tǒng)進行標定，同時根據目標物特點選擇圖像平滑方法，再對離散的序列圖像進行拼接融合，最后對目標邊緣進行提取和測量[3-4]。針對尺寸測量中的噪聲干擾與圖像平滑問題，已有較多研究[5-12]。在實際生產中，實木原料的尺寸直接影響其質量[13-14]。因此，對于板材的長度、寬度及形變的檢測十分重要。本文首先采用Zhang[10]的方法對實驗中使用的相機進行標定，得到相機內部參數(shù)與外部參數(shù)；再對其所采集的樣本圖像進行鏡頭畸變補償。采用高斯模糊對圖像進行平滑后，應用Harris角點檢測進行圖像拼接；再對拼接結果進行邊緣檢測，得到檢測對象的邊緣圖像。通過建立空間坐標系與像素坐標系間的對應關系和給定的相機高度，計算空間中的板材尺寸。該方法解決了長尺寸板材機器視覺測量困難的問題。

1 材料與方法

試材約為700 mm(長)×200 mm(寬)的10塊柞木板材，對板材進行拋光保證其平整性，通過人工測量得到其各邊邊長。

1.1 相機標定

相機的鏡頭并非理想光學系統(tǒng)，存在加工誤差和裝配誤差，造成相機成像與理想成像間出現(xiàn)光學畸變誤差。實驗中用的圖像采集相機為Oscar公司F810CIRF相機，鏡頭型號為M0814-MPFA。

采用Zhang[10]的方法進行相機標定。相機標定靶標，隨機選擇在1張白紙上打印5×4個正方形，將其貼附于平整的玻璃表面，制成靶標，每個正方形的邊長為23.00 mm，共有80個角點作為參考點。標定過程中，采集了不同角度的30幅靶標圖像為參考圖像。使用相機拍攝多幅不同角度的平面靶標圖像，相機與靶標圖像可任意擺放，且不需測得相關位移或轉角。

由相機采集的原始圖像是含有畸變的圖像，通過相機標定內部參數(shù)和Zhang[10]方法矯正原始圖像，得到采集圖像的畸變補償圖像，同時得到修正后的相機內部參數(shù)(見表1)。

1.2 圖像平滑

首先通過直方圖均衡化增強圖像對比度，再采用高斯濾波圖像平滑方法進行去噪。高斯濾波采用高斯函數(shù)卷積原圖像，令其模糊，減小圖像噪聲、降低圖像細節(jié)。對于圖像I(x，y)，高斯模糊過程：L(x，y，σ)=G(x，y，σ)I(x，y)；G(x，y，σ)=(1/2πσ2)exp[((x-xi)2+(y-yi)2)/2σ2]。式中：L(x，y，σ)為卷積后的結果；G(x，y，σ)為與圖像卷積的高斯函數(shù)；I(x，y)為圖像坐標；σ為高斯核，決定圖像模糊程度。

表1 相機內部參數(shù)

由圖1可見：可以看出高斯濾波能夠保存完整的邊緣信息，效果好。

圖1 圖像平滑結果

1.3 圖像拼接

Harris角點檢測算法，采用計算模板區(qū)域內灰度變化梯度的方法進行圖像拼接，利用灰度變化梯度的旋轉不變性，定義一個自相關系數(shù)表征梯度變化。對于圖像中的點(u，v)，計算其方形窗口區(qū)域內圖像灰度誤差的總和：

式中：E(u,v)為點(u,v)的Harris的角點檢測值；w(x,y)=exp((x2+y2)/2σ2)為高斯濾波；I(u,v)為點(u,v)的灰度值，Ix、Iy分別為圖像灰度在x、y方向的梯度值。

計算M矩陣的兩個特征值λ1、λ2。特征值表示局部自相關函數(shù)的曲率。若兩個特征值都很小，則表明窗口所在區(qū)域的灰度變化較小，該附近的自相關值很??；若一個特征值很大，另一個很小，表明窗口區(qū)域為圖像邊緣，且沿邊緣方向自相關值變化較小，沿垂直邊緣方向自相關值變化較大；當兩個特征值都大時，表明該點為角點，沿任意方向的自相關值變化均急劇變大。

Harris角點檢測方法的圖像拼接過程(見圖2)：首先進行特征角點檢測，提取得到角點作為拼接特征點集；然后進行特征角點配準，尋找兩幅圖像中的正確配準角點對；接著用變換模型參數(shù)估計，計算出待拼接圖像到參考圖像的變換參數(shù)；最后完成圖像拼接融合，保持圖像視覺效果的一致性。即：對經過預處理的前后兩幀圖像分別提取Harris角點，再進行角點匹配得到圖像變換參數(shù)，對中間重疊區(qū)域采用融合算法得到拼接圖像。

2 結果與分析

2.1 邊緣檢測

邊緣信息是圖像的重要特征，邊緣檢測的內容主要包括灰度變化的測量和定位。當前的邊緣檢測有很多不同的方法，其基本思想為，首先利用增強算子突出圖像中的局部區(qū)域邊緣；然后通過設置閾值提取邊緣點點集；最后在邊緣點集中剔除某些邊界點、填補邊界斷點將邊緣連接成線。Sobel算子，對于灰度變化與噪聲較多的圖像有較好的處理效果。由圖3可見，Sobel算子的檢測結果，保存了完整清晰的邊緣。

圖2 板材圖像拼接過程

圖3 多種邊緣檢測算子的結果

2.2 尺寸測量

通過對相機內部參數(shù)的測量，得到相機相關的外部參數(shù)。再通過定義標準測量的元件，通過鏡頭畸變矯正后，可以通過理想的相機放大模型得到板材的尺寸參數(shù)。

定義空間坐標系(Xr，Yr，Zr)描述相機與物體的位置。定義圖像像素坐標系(u，v)與圖像物理坐標系(x，y)，其中像素坐標系以圖像的左上角為原點，像素為單位，u、v分別代表像素點所在圖像中的列與行數(shù)。物理坐標系以光軸與像面交點為原點，以毫米為單位，x、y軸分別與像素坐標系的u、v軸平行。定義相機坐標系(Xc，Yc，Zc)，其原點為鏡頭的光心，Zc與光軸重合、與成像面相垂直，且攝影方向為正。Xc和Yc軸與圖像的物理坐標系x、y軸平行，f為相機焦距。依據上述定義，可得到空間中一點在空間坐標系中的坐標，與其像點在圖像像素坐標系中的坐標間變換關系：

考慮到鏡頭畸變的因素，(u0，v0)為圖像物理坐標系(x，y)原點在圖像像素坐標系(u，v)中的坐標，且有u=x/dx+u0，dx為一個像素在(x，y)中x軸方向上的物理長度。α=f/dx、β=f/dy分別為物理坐標系中的等效焦距，其單位為像素。給出相機高度距離測量所在平面距離Zc=500.00 mm，根據相機內部參數(shù)和外部參數(shù)標定，計算出內部參數(shù)矩陣K和旋轉矩陣R：

對于板材的4個角點A(XrA,YrA,ZrA)、B(XrB,YrB,ZrB)、C(XrC,YrC,ZrC)、D(XrD,YrD,ZrD)，可以得到已知像素點(u，v)下，關于其空間坐標Xr、Yr的2個線性方程，可以利用歐氏距離公式得到邊長值。

對實驗準備的700 mm(長)×200 mm(寬)10塊待測試柞木長板材進行測量。首先對板材進行拋光保證其平整性，再通過人工測量得到其各邊邊長。采用本文方法對柞木拋光板材計算其各邊邊長(見表2、表3)，表4為采集后圖像不進行畸變補償直接測量尺寸的結果。標準差的計算公式為：

表2 對5號測試樣本10次測量結果

表3 待測樣本板材測量結果標準差比較

表4 圖像直接測量與畸變補償后測量結果比較 mm

由表2、表3可見，針對單個測試樣本多次測量的最大誤差為0.89 mm，其標準差小于1 mm。對于10個樣本測量結果表明，測量精度較高，最大標準差為0.582，其測量的精確度均在1 mm內。針對存在的誤差，造成的原因是存在一定的系統(tǒng)誤差，包括光學成像誤差、標定誤差、量化誤差、采樣誤差等。表4比較了畸變補償與無補償測量的結果，通過畸變補償后的圖像有效的減小了最大誤差，將測量的精確度由5 mm提升至1 mm。

3 結論

計算機視覺下的尺寸測量技術，具有非接觸、自動程度高的特點，應用前景廣闊。本文利用測量樣本的數(shù)字圖像，圍繞其空間內的尺寸測量問題，對相機標定、畸變補償、圖像平滑、圖像拼接、邊緣檢測、坐標轉換等問題進行了理論和實驗研究，驗證了應用圖像拼接的長尺寸板材測量方法的準確度與實用效果。實驗結果表明：相機標定與畸變補償提高了測量的精度，由5 mm提高至1 mm；圖像拼接的方法，解決了長尺寸板材機器視覺測量困難的問題。采用Sobel算子邊緣檢測方法，能準確保留邊緣信息，速度快、計算簡單，測量結果的最大標準差為0.582 mm，測量精度小于1 mm。

[1] MALAMAS E N， PETRAKIS E G M， ZERVAKIS M， et al. A survey on industrial vision systems, applications and tools[J]. Image and Vision Computing，2003，21(2)：171-188.

[2] 王建民，浦昭邦，晏磊，等.二維圖像測量機系統(tǒng)的研究[J].儀器儀表學報，2001，22(4)：349-353.

[3] 尹伯彪，周肇飛.基于波前修正的大尺寸測量圖像恢復技術研究[J].四川大學學報(工程科學版)，2008，40(4)：172-175.

[4] 唐武生，譚慶昌，吳麗，等.平面參數(shù)的非接觸測量研究[J].武漢理工大學學報，2009，31(9)：94-98.

[5] 李樹奎，聶紹珉，唐景林，等.大型鍛件尺寸測量CCD圖像的去噪算法研究[J].塑性工程學報，2009，16(1)：202-205.

[6] 李羅生，白立芬，李慶祥，等.微小尺寸測量中的圖像處理技術[J].清華大學學報(自然科學版)，2001，41(8)：45-48.

[7] DEVERNAY F， FAUGERAS O. Straight lines have to be straight： automatic calibration and removal of distortion from scenes of structured environments[J]. Machine Vision and Applications，2001，13(1)：14-24.

[8] 劉金頌，原思聰，張慶陽，等.雙目立體視覺中的攝像機標定技術研究[J].計算機工程與應用，2008，44(6)：237-239.

[9] 劉賓，王黎明，趙霞.基于CCD尺寸測量中圖像邊緣退化及恢復技術研究[J].應用光學，2013，(6)：995-999.

[10] ZHANG Z Y. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(11)：1330-1334.

[11] 盧瑜，郝興文，王永俊.Moravec和Harris角點檢測方法比較研究[J].計算機技術與發(fā)展，2011，21(6)：95-97，100.

[12] 仇國慶，馮漢青，蔣天躍，等.一種改進的Harris角點圖像拼接算法[J].計算機科學，2012，39(11)：264-266，297.

[13] 戴天虹，王克奇，楊少春.基于顏色特征對木質板材分級的研究[J].系統(tǒng)仿真學報，2008，20(5)：1372-1376.

[14] ZHANG Y Z， LIU S J， TU W J， et al. Using computer vision and compressed sensing for wood plate surface detection[J]. Optical Engineering，2015，54(10).doi：10.1117/1.OE.54.10.103102.