機(jī)器視覺核桃分級中相機(jī)可變視場與像素轉(zhuǎn)換系數(shù)自動獲取方法

郭 政，周 軍，史建新，蔡 建

(新疆農(nóng)業(yè)大學(xué)機(jī)械交通學(xué)院，新疆烏魯木齊 830052)

?

機(jī)器視覺核桃分級中相機(jī)可變視場與像素轉(zhuǎn)換系數(shù)自動獲取方法

郭 政，周 軍*，史建新，蔡 建

(新疆農(nóng)業(yè)大學(xué)機(jī)械交通學(xué)院，新疆烏魯木齊 830052)

針對利用機(jī)器視覺進(jìn)行農(nóng)產(chǎn)品無損檢測中相機(jī)視場調(diào)節(jié)困難以及調(diào)整后需要重新標(biāo)定的問題，提出一種基于MFC軟件界面控制的大恒定焦USB 2.0工業(yè)相機(jī)視場自動調(diào)節(jié)方法，并通過試驗對相機(jī)進(jìn)行標(biāo)定，擬合出相機(jī)高度和像素轉(zhuǎn)換系數(shù)的關(guān)系式，當(dāng)相機(jī)視場發(fā)生變化時，系統(tǒng)中超聲波測高模塊可以實時給出相機(jī)高度，程序根據(jù)關(guān)系式實時給出對應(yīng)高度的像素轉(zhuǎn)換系數(shù)，方便圖像處理軟件根據(jù)核桃輪廓像素數(shù)據(jù)換算出核桃尺寸，精確判斷等級。

機(jī)器視覺；相機(jī)視場；像素轉(zhuǎn)換系數(shù)；系統(tǒng)標(biāo)定

在農(nóng)場品無損檢測研究中機(jī)器視覺占據(jù)重要地位，而工業(yè)相機(jī)性能無疑是實現(xiàn)整個系統(tǒng)功能的一個關(guān)鍵環(huán)節(jié)。提高工業(yè)相機(jī)靈活性，增加其利用率對整合視覺系統(tǒng)性能具有重要意義。周竹等[1]在馬鈴薯機(jī)器視覺自動檢測中利用雙平面鏡對同一對象同時獲取3張圖片，提高了一個工業(yè)相機(jī)的采圖利用率。應(yīng)義斌等[2]在對水果高速運動下無損檢測中，利用多個觸發(fā)傳感器和輸送軌道聯(lián)合作用，保證相機(jī)位置不變情況下，實現(xiàn)對同一個水果采集多幀圖片。針對利用機(jī)器視覺進(jìn)行農(nóng)產(chǎn)品無損檢測中相機(jī)視場調(diào)節(jié)困難以及調(diào)整后需要重新標(biāo)定的問題，筆者以工業(yè)相機(jī)采集視場為研究內(nèi)容提出一種基于MFC軟件界面控制的大恒定焦USB 2.0工業(yè)相機(jī)視場自動調(diào)節(jié)方法，以期實現(xiàn)圖像采集對象發(fā)生特征變化或整個視覺系統(tǒng)功能調(diào)整時(如系統(tǒng)檢測對象從外形尺寸到紋理特征的調(diào)整)可自動調(diào)節(jié)工業(yè)相機(jī)的視場屬性，從而提高工業(yè)相機(jī)的利用率和使用便捷性。

1 理論方案分析

目前在農(nóng)產(chǎn)品無損檢測應(yīng)用中，大部分機(jī)器視覺硬件系統(tǒng)都是固定相機(jī)位置，根據(jù)特定的檢測對象讓相機(jī)進(jìn)行單一圖像采集工作。當(dāng)檢測對象發(fā)生變化時(如檢測對象的外形尺寸由大變小)，固定機(jī)位的機(jī)器視覺系統(tǒng)圖像處理軟件未必可以對圖像進(jìn)行正確處理，同時在機(jī)器視覺系統(tǒng)調(diào)校中，需人工改變相機(jī)高度，給操作人員帶來不便。該研究對象是基于機(jī)器視覺的核桃大小分級，當(dāng)需要提高檢測精度時，需對同一個核桃進(jìn)行多次拍照處理(或單一核桃壞殼檢測)，由于核桃在生產(chǎn)線上處于快速運動狀態(tài)，若要準(zhǔn)確采集到固定數(shù)量的圖像，系統(tǒng)則需對檢測對象進(jìn)行大視場拍照(或縮小視場，放大倍率拍照)，針對此問題有以下幾種解決方法：①采用變焦鏡頭。但其成本太高，且一般變焦鏡頭在變焦時最大光圈值(f)會發(fā)生改變，從而引起圖像采集參數(shù)變化，且同等價位的變焦鏡頭成像質(zhì)量不如定焦鏡頭[3]；②將檢測對象做靠近相機(jī)移動。由于被檢測對象多位于機(jī)械裝置(如輸送皮帶或輸送鏈條)上，移動機(jī)械裝置較難實現(xiàn)；③動態(tài)改變相機(jī)位置。該方法可根據(jù)需要調(diào)節(jié)高度，改變相機(jī)的視場，檢測對象不發(fā)生位置改變。

根據(jù)以上分析可知，機(jī)器視覺系統(tǒng)中可調(diào)相機(jī)視場具有較多優(yōu)勢，而基于可視化界面的自動視場調(diào)節(jié)則會帶來更多便利。方案③可以在較低成本下實現(xiàn)相機(jī)視場自動調(diào)節(jié)，合理可行。

2 可變視場調(diào)節(jié)

2.1 可變視場中的成像關(guān)系 大視場光學(xué)系統(tǒng)應(yīng)用廣泛，對于固定的硬件設(shè)備可提高光學(xué)儀器的工作效率，增加獲取的圖像信息量[4]。根據(jù)光學(xué)中高斯成像公式：

(1)

式中，u為物距；v為像距；f為相機(jī)焦距[5]。對于可變焦相機(jī)，當(dāng)u不變、f增大時，v變大，結(jié)果表現(xiàn)為拍攝物體被拉近(放大)，可視角度變?。籪減小時，v變小，結(jié)果表現(xiàn)為拍攝物體被推遠(yuǎn)(縮小)，可視角度變大。圖1為可變焦相機(jī)在焦距改變時帶來的視場變化。

圖1 變焦相機(jī)焦距與視場的關(guān)系Fig.1 Relationship between focal length and field of view of camera

對于機(jī)器視覺系統(tǒng)中大部分應(yīng)用的定焦鏡頭，f為相機(jī)固定參數(shù)。要想在固定機(jī)位，即不改變u的情況下獲得較大或較小的視場角度是不可能的。因此，只有通過改變物距才可以實現(xiàn)。

2.2 可變視場調(diào)節(jié)的實現(xiàn)方法 該研究采用的硬件設(shè)備為大恒8 mm定焦USB 2.0工業(yè)相機(jī)。將此款相機(jī)安裝于步進(jìn)電機(jī)滑軌上，由于步進(jìn)電機(jī)的轉(zhuǎn)速、停止的位置只取決于脈沖信號的頻率和脈沖數(shù)，而不受負(fù)載變化的影響，配合上32細(xì)分的驅(qū)動控制器，可以精確控制移動高度[6]。通信方式采用USB串口向以8951單片機(jī)為下位機(jī)的控制板傳遞電機(jī)控制信號。自動調(diào)節(jié)系統(tǒng)如圖2所示。

圖2 自動調(diào)節(jié)系統(tǒng)示意Fig.2 Schematic diagram of automatic regulatory system

在相機(jī)上下移動的同時，超聲波測距模塊會實時將相機(jī)高度(即u)計算出來，顯示到控制界面上，通過標(biāo)定后，該高度值將作為重要參數(shù)計算像素轉(zhuǎn)換系數(shù)。相機(jī)自動調(diào)整控制界面如圖3所示。

圖3 自動調(diào)節(jié)控制界面Fig.3 Interface of automatic adjustment control

點擊視場變大按鈕，相機(jī)將做遠(yuǎn)離拍攝主體運動，點擊視場減小按鈕，相機(jī)將做靠近拍攝主體運動。

3 相機(jī)標(biāo)定

相機(jī)成像的數(shù)學(xué)模型決定了空間物體表面某點在世界坐標(biāo)系中的位置與其在圖像坐標(biāo)系中對應(yīng)點之間的相互關(guān)系，通過試驗與計算得到這些模型參數(shù)的過程就稱為相機(jī)標(biāo)定。相機(jī)標(biāo)定問題是機(jī)器視覺測量應(yīng)用中首先需要解決的問題[7]。

3.1 傳統(tǒng)相機(jī)標(biāo)定法 該研究的目的是在核桃在線分級中建立合理的相機(jī)標(biāo)定模型。當(dāng)相機(jī)視場改變時可通過軟件計算，自動對改變高度后的相機(jī)進(jìn)行標(biāo)定。此次相機(jī)標(biāo)定采用小孔成像原理，標(biāo)定方法采用傳統(tǒng)標(biāo)定法[8]，該方法需要使用尺寸已知的標(biāo)定物，通過標(biāo)定物上坐標(biāo)已知點組成的長度與其圖像點之間進(jìn)行對應(yīng)，利用三角相似原理獲得相機(jī)內(nèi)部參數(shù)。針孔成像原理如圖4所示[9]。

圖4 針孔成像模型Fig.4 Pin-hole imaging model

根據(jù)針孔成像原理得到：

(2)

對公式進(jìn)行變形，并且令像素轉(zhuǎn)換系數(shù)為k，則公式(2)變?yōu)椋?/p>

(3)

當(dāng)u變化時，由于拍攝主體位置發(fā)生變化，為了清晰對焦，v會遵從凸透鏡成像原理，在2倍焦距外發(fā)生微小偏移，將成像最清晰的點承接至圖像平面上。由公式(1)可知，當(dāng)物距增加，像距向靠近透鏡方向偏移，相反，則向遠(yuǎn)離透鏡方向偏移，這解決了u和v在相機(jī)高度變化中的關(guān)系問題，即為相機(jī)進(jìn)行了標(biāo)定。

3.2 進(jìn)行試驗標(biāo)定 由于拍攝主體對象處于鏡頭正下方，鏡頭畸變小，且要求精度不是很高，所以此次標(biāo)定沒有采用象棋盤標(biāo)定模板，而是改為已知尺寸的核桃進(jìn)行標(biāo)定。標(biāo)定時對同一高度單個核桃進(jìn)行5次測量，每個高度對應(yīng)的像素值取5次測量的平均值。高度樣本為7個，高度區(qū)間為Hmin=18 cm，Hmax=28 cm。通過測量后給出原始拍攝圖片和處理后像素圖片，前后對照如圖5所示。

得到處理圖片后，由圖像處理軟件給出每個核桃對應(yīng)高度的輪廓像素數(shù)據(jù)，并由每個核桃的實際尺寸和輪廓像素?fù)Q算出不同高度的轉(zhuǎn)換系數(shù)ki(i=1，2，…，7)。根據(jù)ki值和標(biāo)定的相機(jī)高度建立圖表關(guān)系，并進(jìn)行曲線擬合。由“3.1”分析可知，曲線大致為線性關(guān)系。圖6反映了標(biāo)定后像素轉(zhuǎn)換系數(shù)和相機(jī)高度的關(guān)系。

4 轉(zhuǎn)換系數(shù)自動獲取

從轉(zhuǎn)換系數(shù)和相機(jī)高度的擬合關(guān)系中得到：

k=y=0.006 0x-0.015 4

(4)

當(dāng)需要相機(jī)調(diào)整時，操作人員只需根據(jù)實際情況長按圖3中對應(yīng)的按鈕，步進(jìn)電機(jī)動作時間與按鈕按下時間同步，松開鼠標(biāo)按鍵，動作停止。只要步進(jìn)電機(jī)轉(zhuǎn)動，x值就會發(fā)生改變，同時下位機(jī)控制板IO口接收到超聲波模塊返回的相機(jī)高度值[10]，處理器隨即根據(jù)此關(guān)系式進(jìn)行換算，并將換算后的像素轉(zhuǎn)換系數(shù)以USB串口通信的方式反饋到交互式軟件界面[11]。

圖5 原始圖片和處理圖片F(xiàn)ig.5 Original images and treatment images

圖6 轉(zhuǎn)換系數(shù)和相機(jī)高度關(guān)系Fig.6 Relationship between conversion coefficient and camera height

圖像處理程序在對圖像(in)進(jìn)行輪廓提取后，得到輪廓數(shù)據(jù)的像素值(pn)，通過調(diào)用上述轉(zhuǎn)換系數(shù)值，得到：

ln=k×pn

(5)

式中，ln為系數(shù)轉(zhuǎn)化后的核桃尺寸。在核桃分級控制軟件界面有輸入等級尺寸的交互編輯框。由人工界定的某一品種核桃的不同等級尺寸，可輸入程序，讓ln與之判斷比較，從而精確給出核桃大小等級，最后由控制軟件將等級判斷結(jié)果送入下位機(jī)控制機(jī)構(gòu)，下位機(jī)控制對應(yīng)的不同等級的氣動電磁閥動作，實現(xiàn)精準(zhǔn)分級。

5 結(jié)論

(1)采用基于MFC界面交互的方式實現(xiàn)了機(jī)器視覺中相機(jī)視場的自動調(diào)節(jié)。利用步進(jìn)電機(jī)驅(qū)動相機(jī)可直線往復(fù)運動，同時超聲波測高模塊實時測量相機(jī)位置，精確反映高度，實現(xiàn)相機(jī)視場的拉近和遠(yuǎn)離。

(2)為獲得相機(jī)拍攝圖像的實際二維空間尺寸，對工業(yè)相機(jī)進(jìn)行了試驗標(biāo)定，分析了實物坐標(biāo)和圖像坐標(biāo)之間的關(guān)系后計算出像素轉(zhuǎn)換系數(shù)，并將其與相機(jī)高度之間的關(guān)系進(jìn)行了線性擬合。通過測高模塊給出的高度計算得出對應(yīng)的像素轉(zhuǎn)換系數(shù)可方便控制軟件對核桃外形尺寸進(jìn)行分級判斷。

[1] 周竹，黃懿，李小昱，等.基于機(jī)器視覺的馬鈴薯自動分級方法[J].農(nóng)業(yè)工程學(xué)報，2012，28(7)：178-183.

[2] 應(yīng)義斌，饒秀勤，黃永林，等.運動水果圖像的實時采集方法與系統(tǒng)研究[J].農(nóng)業(yè)機(jī)械學(xué)報，2004，35(3)：179-182.

[3] 溫同強(qiáng).變焦距光學(xué)系統(tǒng)的研究與設(shè)計[D].鎮(zhèn)江：江蘇大學(xué)，2009.

[4] 鐘興，張元，金光.大視場光學(xué)系統(tǒng)像面照度均勻性優(yōu)化[J].光學(xué)學(xué)報，2012，32(3)：41-45.

[5] 王琦，王光宇，程雪岷，等.變焦距鏡頭高斯光學(xué)設(shè)計的新方法[J].光學(xué)學(xué)報，2002，22(8)：983-989.

[6] 劉寶志.步進(jìn)電機(jī)的精確控制方法研究[D].濟(jì)南：山東大學(xué)，2010.

[7] GARY BRADSKI，ADRIAN KAEHLER.學(xué)習(xí)OpenCV(中文版)[M].于仕琪，劉瑞禎，譯.北京：清華大學(xué)出版社，2015.

[8] 王靖韜，侯振杰.傳統(tǒng)相機(jī)標(biāo)定方式的自動標(biāo)定方法[J].計算機(jī)工程與應(yīng)用，2010，46(35)：205-208.

[9] 劉雪超.基于數(shù)字圖像處理的自動調(diào)焦技術(shù)研究[D].長春：中國科學(xué)院研究生院(長春光學(xué)精密機(jī)械與物理研究所)，2014.

[10] 沈燕，高曉蓉，孫增友，等.基于單片機(jī)的超聲波測距儀設(shè)計[J].現(xiàn)代電子技術(shù)，2012，35(7)：126-130.

[11] 章輝，葉建芳，葉建威.基于MSComm控件串口通信的實現(xiàn)[J].電子測量技術(shù)，2011，34(8)：126-129.

科技論文寫作規(guī)范——標(biāo)點符號 標(biāo)點符號按照1990年國家語言文字工作委員會等公布的《標(biāo)點符號的用法》執(zhí)行，每個標(biāo)點占一格(破折號占兩格)。外文中的標(biāo)點符號按照外文的規(guī)范和習(xí)慣。外文字母、阿拉伯?dāng)?shù)字、百分號等并列時，其間用“，”，不用頓號“、”。注意破折號“——”、范圍號“—”和連字符“-”的不同用法。破折號又稱兩字線或雙連劃，占兩個字身位置；范圍號又稱一字線或全身劃，占一個字身位置，連字符又稱半字線或?qū)﹂_劃，占半個字身位置。破折號可作文中的補(bǔ)充性說明(如注釋、插入語等)，或用于公式或圖表的說明文字中。范圍號用于表示從某某到某某。例如20—30℃，70%—90%，1949—1986年(本刊文中范圍號寫成“～”，參考文獻(xiàn)范圍號用“-”。連字符用于連接詞組，或用于連接化合物名稱與其前面的符號或位序，或用于公式、表格、插圖、插題、型號、樣本等的編號。外文中的破折號(Dash)的字身與m寬，俗稱m Dash，其用法與中文中的破折號相當(dāng)。外文的連接符俗稱哈芬(hyphen)。其中，對開哈芬的字身為m字身的一半，相當(dāng)于中文中范圍號的用法；三開哈芬的字身為m字母的1/3，相當(dāng)于中文中的連字符的用法。

Variable View of Camera and Pixel Conversion Coefficient Getting Automatically in Machine Vision for Walnut Grading

GUO Zheng, ZHOU Jun*, SHI Jian-xin et al

(College of Mechanical and Traffic College, Xinjiang Agricultural University, Urumqi, Xinjiang 830052)

For machine vision post-agricultural non-destructive testing in the field of view camera adjustments are difficult and require re-calibration adjustment problems, this paper presented a constant USB 2.0 industrial camera of Daheng-Image company field of view of MFC software interface to control automatic adjustment method. And through experiments to calibrate the camera, the camera fitted the equation between height and pixel conversion coefficient. When the camera field of view changed, ultrasound height measurement module in the system could give corresponding camera height. According to the equation, the program gave pixel conversion coefficient of corresponding height, which was convenient to image processing software. Walnut size was calculated according to the pixel count of walnut contour, so that the grade was accurately judged.

Machine vision; Camera view; Pixel conversion coefficient; System calibration

“十二五”國家科技支撐計劃項目(2011BAD27B02-05-02)；新疆維吾爾自治區(qū)科技成果轉(zhuǎn)化項目(201130102-4)。

郭政(1990-)，男，江蘇宿遷人，碩士研究生，研究方向：農(nóng)業(yè)機(jī)械工程。*通訊作者，講師，從事農(nóng)業(yè)機(jī)械研究。

2016-08-19

S 22

A

0517-6611(2016)29-0234-03