神經(jīng)網(wǎng)絡(luò)下單目視覺測距方法的研究

任工昌， 劉崇展， 劉 朋， 張 戈

(陜西科技大學(xué) 機電工程學(xué)院， 陜西 西安 710021)

0 引言

本研究的應(yīng)用對象為大型糧庫，將測距裝置安裝在糧庫頂部，測量糧面的高度.根據(jù)散裝倉糧食數(shù)量的識別要求，識別對象為拍攝的場景圖像，通過圖像特征識別和清晰度評價，獲取糧面高度，在大型糧庫的實際監(jiān)管過程中，糧食入庫后，儲量表面有一個平整的過程，這樣糧面起伏不大，采用若干測距裝置在重點區(qū)域布局[1]，然后進行三維建模，模擬整個糧面，即可得到糧面的整體信息，最終獲得糧倉內(nèi)糧食數(shù)量[2,3].本文重點研究了通過單目視覺測距技術(shù)獲取糧面高度，即研究重點布局中一個布點的測距.在糧庫頂部安裝有若干光源，但不同的測距裝置之間所感受到的光照強度不同，帶來測量誤差，基于此，在每一個測距裝置上安裝一個小型的光源，只有在測量時進行補光，減小測量誤差，操作方便.

單目視覺測距是利用一個攝像機獲得的圖片得出深度信息的測量方法，文獻[4，5]研究了基于自適應(yīng)特征點匹配的單目視覺測距.文獻[6]利用攝像機標定后的參數(shù)，引入目標物體的面積特性進行求解，最終得到測距表達式.目前的視覺測距都基于攝像機標定技術(shù)，不能適用攝像機位置變化或物距變化明顯的情況[7].本文之前的研究，通過實驗得到由物距、像距脈沖數(shù)和焦距脈沖數(shù)組成的數(shù)據(jù)庫，依據(jù)最小二乘法擬合曲線得到對應(yīng)分段函數(shù).但是，此方法帶來的問題是誤差較大，測量結(jié)果需要代入公式驗證，不能實現(xiàn)快速測距，具有一定的出錯率.

本文在之前的研究基礎(chǔ)之上，針對誤差較大和存在出錯率的問題，依據(jù)高斯成像原理和自動調(diào)焦技術(shù)，提供一種由變焦鏡頭獲得焦距與像距的雙脈沖數(shù)，利用神經(jīng)網(wǎng)絡(luò)計算物距的單目視覺測距新方法.具有結(jié)構(gòu)簡單，原理簡明，受環(huán)境因素影響小的特點，適用于中近程的靜止物體的大范圍距離測量.

1 測距系統(tǒng)原理及測距過程

1.1 測距系統(tǒng)原理

光學(xué)系統(tǒng)測距是根據(jù)系統(tǒng)在清晰成像時，通過高斯公式得到所要測量的物距.光學(xué)系統(tǒng)的基本成像原理如圖1所示[8,9].

圖1 光學(xué)成像原理

圖1中，P是被測物點，L是鏡頭，ID是感光器件，s是感光器件ID與透鏡L的距離，P′和P″分別是正焦成像點和離焦彌散圓，R是離焦彌散圓P″的半徑，u是被測物點與鏡頭中心的距離，v是正焦位置下對應(yīng)的像距，f為透鏡焦距，是鏡頭的內(nèi)部參數(shù).根據(jù)光學(xué)成像原理可知，當物點清晰成像時，有式(1)成立.

(1)

只有在理想狀態(tài)下，物點才可以清晰成像.實際應(yīng)用中上述公式不再成立，物點所成的像不在是一個點，而是一個彌散圓斑.結(jié)合圖1并根據(jù)三角形相似原理得到透鏡直徑、彌散圓斑半徑、像距等對應(yīng)關(guān)系如式(2)所示：

(2)

離焦程度不同時，彌散圓斑大小不同，結(jié)合式(1)和式(2)得到彌散圓斑半徑R的表達式如式(3)所示.

圖6為理論仿真及實驗測量的單模光纖及兩模光纖耦合效率隨橫向偏移量rb的變化曲線.由圖可見，兩模光纖和單模光纖的耦合效率均隨rb的增加而單調(diào)遞減，當rb相同時，由于兩模光纖的模場面積大于單模光纖，實驗測得兩模光纖的耦合效率始終高于單模光纖.當rb為4 μm時，實驗測得兩模光纖的耦合效率為37.62%，此時單模光纖耦合效率下降到27.39%，兩模光纖的耦合效率比單模光纖高10.23%.實驗結(jié)果驗證了理論推導(dǎo)結(jié)果，即少模光纖相比于單模光纖對橫向偏移的容忍度明顯提高.實驗所得少模光纖耦合效率與理論仿真所得耦合效率隨偏移量的變化趨勢基本一致.

(3)

本測距方法，通過圖像處理判斷目標圖像清晰度值，通過自動調(diào)焦技術(shù)使得到的彌散圓半徑盡可能小，即尋找正焦位置，最后通過高斯公式求得物距.

1.2 測距系統(tǒng)結(jié)構(gòu)

之前的研究已經(jīng)建立了測距系統(tǒng)，由控制模塊、圖像采集模塊和顯示模塊組成.其中圖像采集模塊的鏡頭包括聚焦環(huán)和變焦環(huán)，分別調(diào)節(jié)像距和焦距，步進電機通過齒輪傳動調(diào)節(jié)鏡組位置，將鏡組移動距離轉(zhuǎn)化為對應(yīng)的脈沖數(shù).單片機發(fā)送的脈沖數(shù)控制步進電機轉(zhuǎn)角及方向.控制模塊根據(jù)圖像清晰度的變化，確定單片機發(fā)送的脈沖數(shù)以及電機轉(zhuǎn)向，同時進行記錄.測距系統(tǒng)實物圖如圖2所示.

從工程實際應(yīng)用出發(fā)，本系統(tǒng)采用基于圖像處理的自動調(diào)焦系統(tǒng)，如圖3所示.自動調(diào)焦采用聚焦深度法進行研究，聚焦深度法屬于遍歷搜索范疇，具有較高的靈活性和智能性，只需通過改變算法便可提升調(diào)焦系統(tǒng)性能.

圖3 基于圖像處理的自動調(diào)焦系統(tǒng)

圖像質(zhì)量評價是自動調(diào)焦過程的重要步驟，用于自動調(diào)焦的圖像清晰度評價函數(shù)應(yīng)具有無偏性、單峰性、靈敏度高、信噪比好等特點[10]，根據(jù)所拍攝目標物的特點，選取適當?shù)脑u價算法計算圖像清晰度[11]，通過對比不同幀的圖像清晰度值決定調(diào)焦方向.本系統(tǒng)的應(yīng)用對象為大型糧庫，拍攝的圖片信息為接近平面狀態(tài)的糧食顆粒物，邊緣檢測對整個質(zhì)量評價結(jié)果影響較大.基于此，采用基于空域的Brenner函數(shù)進行質(zhì)量評價.具體的函數(shù)表達式如式(4)所示.通過Matlab軟件對該函數(shù)進行程序編寫，然后由Matlab計算得到具體圖像清晰度值，最后通過對比函數(shù)清晰度值的大小確定圖像清晰度的變化情況.Brenner函數(shù)只計算單一水平方向的梯度，但計算的是二階梯度，即相差兩個像素點的像素灰度值，同時進行灰度差值的平方運算，提高邊緣梯度值的重要性，無需再設(shè)定閾值[12,13]，具有較好的響應(yīng)速度以及準確度較高.

(4)

1.3 搜索策略

根據(jù)圖像質(zhì)量評價結(jié)果判斷圖像的離焦程度，根據(jù)數(shù)據(jù)處理單元發(fā)出的控制信號，電機驅(qū)動模塊實現(xiàn)鏡頭感光器件的位置變化，使整個測距系統(tǒng)呈現(xiàn)正焦圖像.本研究采用改進的爬山搜索算法，結(jié)合自適應(yīng)步長確定搜索策略，距離正焦位置較遠時，即圖像清晰度值變化較大時，采用較大步長的粗調(diào)焦加快進程，本系統(tǒng)采用五級脈沖進行調(diào)節(jié)；距離正焦位置較近，即圖像清晰度值變化不明顯時，采用較小步長的精調(diào)焦保證精度，本系統(tǒng)采用一級脈沖調(diào)節(jié)，在不同的應(yīng)用對象或者精度要求時，可以通過改變脈沖級數(shù)達到響應(yīng)速度和精度要求，最終得到理想的搜索結(jié)果.

1.4 面積法確定焦距脈沖數(shù)

本研究中采用的是變焦鏡頭，需要同時調(diào)節(jié)焦距和像距，而且采用了以遍歷搜索為原理的聚焦深度法實現(xiàn)自動調(diào)焦，存在的問題是如何實現(xiàn)兩個調(diào)焦環(huán)的聯(lián)動調(diào)節(jié)？如果完全按照遍歷搜索進行，工作量過大不能保證系統(tǒng)的響應(yīng)速度.針對之前研究需要將結(jié)果帶回到公式驗證以及會有出錯率的情況，提出根據(jù)設(shè)定的目標物面積初步確定物距范圍，根據(jù)文章前面提出的神經(jīng)網(wǎng)絡(luò)樣本數(shù)據(jù)選取的是變化明顯部分，可以根據(jù)初步得到的物距范圍確定焦距脈沖數(shù)，并且可以得到更好的準確度和更快的響應(yīng)速度.

首先進行實驗，給定焦距脈沖數(shù)為30，拍攝在0～200 cm內(nèi)間隔為10 cm的圖像序列，利用Halcon軟件自動識別并計算目標圖像中小圓的面積.目標圖像的區(qū)域識別如圖4所示.

圖4 目標圖像自動區(qū)域識別

圖像區(qū)域識別結(jié)束后，利用Halcon軟件計算得到對應(yīng)區(qū)域的相關(guān)參數(shù)[14]，包括圓心的坐標、半徑和面積.圖5所示為自動識別后控制變量的結(jié)果.最終可以得到圓的半徑為101.478 pixel，面積為32 052 pixel，在本次選取面積進行研究.

由表1可知，當面積大于12 039 pixel時，對應(yīng)物距小于10 cm，根據(jù)神經(jīng)網(wǎng)路樣本集的選取原則確定焦距脈沖數(shù)，然后再根據(jù)搜索策略最終得到像距脈沖數(shù)，然后通過神經(jīng)網(wǎng)絡(luò)實現(xiàn)精確的物距測量.以此類推，可得到2 m以內(nèi)的所有情況.

圖5 目標圖像識別結(jié)果

通過Halcon軟件對拍攝的圖像序列進行識別及面積計算，得到面積與物距的對應(yīng)關(guān)系.表1所示為部分數(shù)據(jù)(50 cm以內(nèi))的對應(yīng)結(jié)果.

表1 面積測量結(jié)果

1.5 系統(tǒng)運行步驟

系統(tǒng)運行過程如圖6所示.首先啟動測距裝置，調(diào)節(jié)焦距脈沖數(shù)為30，拍攝目標物，識別并計算圓的面積，初步確定物距范圍，然后確定精確測量時的焦距脈沖數(shù).根據(jù)爬山算法確定正焦位置，記錄像距脈沖數(shù).最后通過Matlab中的sim命令，利用已訓(xùn)練的網(wǎng)絡(luò)實現(xiàn)測量，測得物距.

圖6 系統(tǒng)運行流程圖

2 基于神經(jīng)網(wǎng)絡(luò)的非線性關(guān)系

通過實驗建立物距與焦距和像距脈沖數(shù)對應(yīng)的數(shù)據(jù)庫，需要找到焦距脈沖數(shù)和像距脈沖數(shù)與物距之間的某種關(guān)系，但是考慮到此兩者構(gòu)成的映射中，輸入數(shù)據(jù)為二維數(shù)據(jù)，為此無法采用一般的擬合關(guān)系進行擬合.所以提出使用神經(jīng)網(wǎng)絡(luò)來描述此兩者之間的非線性關(guān)系[15].

2.1 數(shù)據(jù)庫建立

通過聚焦深度法只能確定最清晰圖像的位置，不能確定對應(yīng)的像距以及攝像機焦距，因為省略了攝像機標定，故沒有相應(yīng)的相機內(nèi)外參數(shù)，不能用高斯公式直接計算出物距.利用建立的測距裝置，沿某一固定方向等距離采集目標圖像序列，每次移動距離為50 mm，根據(jù)圖像清晰度評價函數(shù)依次進行圖像處理、計算清晰度值，記錄每一張圖像對應(yīng)的焦距脈沖數(shù)和像距脈沖數(shù).以2 m為例，做40組實驗，焦距從近焦到遠焦共60個脈沖，固定焦距脈沖數(shù)時，隨著物距的不斷增大，像距脈沖數(shù)先增大，隨后保持不變.然后改變焦距脈沖數(shù)，重復(fù)上述步驟.最終得到一個物距、焦距脈沖數(shù)和像距脈沖數(shù)對應(yīng)關(guān)系的數(shù)據(jù)庫.

2.2 神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本值

本次選擇的樣本值為焦距脈沖數(shù)不變時，像距脈沖數(shù)變化明顯的數(shù)據(jù)，因為實際應(yīng)用中，根據(jù)圖像清晰度值的變化可知，在尋找整個正焦位置的過程中，像距脈沖數(shù)變化較為明顯，所以只選擇顯著性變化的數(shù)據(jù).

神經(jīng)網(wǎng)絡(luò)工具箱提供擬合工具以解決數(shù)據(jù)擬合問題.在數(shù)據(jù)擬合中，神經(jīng)網(wǎng)絡(luò)需要從一個數(shù)據(jù)集到另一個數(shù)據(jù)集的映射.為了方便操作，在此使用MATLAB中自帶的神經(jīng)網(wǎng)絡(luò)工具箱.工具箱采用前向神經(jīng)網(wǎng)絡(luò)來完成擬合，包括兩層神經(jīng)元，隱藏層使用sigmoid傳輸函數(shù)，輸出層則是線性的[16].給定足夠多的訓(xùn)練數(shù)據(jù)和足夠多的隱藏神經(jīng)元，網(wǎng)絡(luò)能良好地擬合多維數(shù)據(jù).訓(xùn)練時網(wǎng)絡(luò)采用Levenberg-Marquardt算法，即trainlm函數(shù).

擬合過程是一個數(shù)據(jù)集到另一個數(shù)據(jù)集的映射.在Input中輸入上述數(shù)據(jù)庫中焦距和像距脈沖數(shù)，在Target中輸入其對應(yīng)的物距.在本次訓(xùn)練中，設(shè)定將70%的數(shù)據(jù)劃分為訓(xùn)練樣本，15%的數(shù)據(jù)劃分為驗證樣本，剩下15%的數(shù)據(jù)為測試樣本.設(shè)定隱含層神經(jīng)元個數(shù)為10.具體參數(shù)設(shè)置如圖7所示.

圖7 神經(jīng)網(wǎng)絡(luò)擬合工具箱訓(xùn)練參數(shù)設(shè)置

訓(xùn)練完成后，顯示對話框上輸出迭代次數(shù)、迭代所用時間以及誤差等，如圖8所示.同時獲得誤差直方圖如圖9所示，以及回歸圖如圖10所示.

圖8 輸出結(jié)果對話框

由輸出結(jié)果對話框圖8可知，訓(xùn)練的迭代次數(shù)為36次，訓(xùn)練時間為1 s，證明使用神經(jīng)網(wǎng)絡(luò)訓(xùn)練用時較短.

圖9 誤差直方圖

圖10 訓(xùn)練結(jié)果回歸圖

由誤差直方圖圖9可知，樣本誤差集中在±2.5 cm之間，證明神經(jīng)網(wǎng)絡(luò)獲得的焦距脈沖數(shù)和像距脈沖數(shù)與物距的關(guān)系較為精確.由回歸分析圖圖10可知，輸入數(shù)據(jù)和輸出數(shù)據(jù)的回歸系數(shù)大于0.9，表示了焦距脈沖數(shù)和像距脈沖數(shù)與物距相關(guān)性很強，這是因為我們的樣本數(shù)據(jù)選擇的是像距脈沖數(shù)變化明顯的數(shù)據(jù)，在前面工作中給出了通過面積初步確定焦距脈沖數(shù)的過程，可以保證實際應(yīng)用中采用的是樣本數(shù)據(jù)變化明顯的部分.

3 測距實驗精確度分析

在0～200 cm范圍內(nèi)，以2.5 cm為單位，選取80組距離進行實驗，在不同距離下通過攝像頭獲取系列圖片，并根據(jù)圖像清晰度評價算法計算清晰度值，尋找正焦位置并記錄對應(yīng)的脈沖數(shù)，再通過神經(jīng)網(wǎng)絡(luò)進行預(yù)測，最后將計算結(jié)果和實際物距進行對比，分析誤差是否滿足測距精度要求.本次實驗共有80組數(shù)據(jù)對本測距方法進行了驗證，在此只取部分數(shù)據(jù)如表2所示，進行精確度驗證結(jié)果表述.

表2 精確度實驗數(shù)據(jù)

在表2中列出了通過神經(jīng)網(wǎng)絡(luò)預(yù)測的結(jié)果，還列出了分段函數(shù)擬合得到的結(jié)果.分段函數(shù)擬合是根據(jù)像距脈沖數(shù)變化明顯的要求，按焦距脈沖數(shù)進行函數(shù)分段，得到多段線性關(guān)系式.從表2中可以得到，通過分段函數(shù)擬合測量的結(jié)果除去20 cm和30 cm對應(yīng)的誤差較大之外，其余均小于3%.而對于通過神經(jīng)網(wǎng)絡(luò)得到的結(jié)果，除去20 cm和40 cm的結(jié)果略大外，其余的均小于1%，并且整體相對誤差均值約為1%，滿足精確度要求.并且隨著物距的增大，誤差和相對誤差并沒有隨之明顯的增大，說明此系統(tǒng)具有較好的穩(wěn)定性，適用于物距變化較大的情況.測量誤差的主要原因有：電機搜索復(fù)位時帶來的機械誤差；攝像頭采集圖像過程中光照等環(huán)境因素以人為操作的不準確性.

4 結(jié)論

本文所介紹的測距方法是在高斯公式和自動調(diào)焦原理基礎(chǔ)上，將變焦鏡頭、前向神經(jīng)網(wǎng)絡(luò)和物距與雙脈沖數(shù)非線性關(guān)系相結(jié)合的單目視覺測距方法，不需要繁復(fù)的攝像機標定工作，只需要評價圖像的清晰度，最終得到系統(tǒng)與被測物體的距離，并且驗證了前向神經(jīng)網(wǎng)絡(luò)在單目視覺測距中具有較好的效果.通過大量的實驗驗證了系統(tǒng)的可行性，精確度的相對誤差均值小于1%，滿足精確度要求和穩(wěn)定性要求.本測距系統(tǒng)對于在封閉環(huán)境中靜止物體的測量具有較為突出的優(yōu)勢，通過更換精確度更高的攝像頭，可以實現(xiàn)更大的測距范圍，具有結(jié)構(gòu)簡單、原理簡明、受環(huán)境因素影響小的特點，因此可以將其推廣到煤炭、金屬原料和化工等行業(yè)的倉儲中應(yīng)用.

[1] 楊 勇,任工昌,郭海春.智能糧庫曲面建模的設(shè)計與實現(xiàn)[J].陜西科技大學(xué)學(xué)報(自然科學(xué)版),2012,30(1):29-32.

[2] 林 鷹,付 洋.散裝倉糧食數(shù)量識別關(guān)鍵——矩形標尺圖像識別[J].浙江工業(yè)大學(xué)學(xué)報,2007,41(10):1 643-1 646.

[3] 任工昌,張 戈,劉 朋.糧倉計量技術(shù)進展與展望[J].食品工業(yè),2017,38(2):241-244.

[4] 韓延祥,張志勝,戴 敏.用于目標測距的單目視覺測量方法[J].光學(xué)精密工程,2011,19(5):1 110-1 117.

[5] 屈玉福,劉子悅,江云秋,等.自適應(yīng)變尺度特征點提取方法[J].光學(xué)精密工程,2017,25(1):188-197.

[6] 肖大偉,翟軍勇.輪式移動機器人單目視覺的目標測距方法[J].計算機工程,2017,43(4):287-291.

[7] 郭 磊,徐友春,李克強,等.基于單目視覺的實時測距方法研究[J].中國圖象圖形學(xué)報,2006,11(1)：74-81.

[8] Kehtarnavaz N.Development and real-time implementation of a rule-based auto-focus algorithm[J].Real Time Imaging，2003,9(3):197-203.

[9] 陳國金.數(shù)字圖像自動聚焦技術(shù)研究及系統(tǒng)實現(xiàn)[D].西安：西安電子科技大學(xué),2007.

[10] 苑嘉輝,蔡洪波,劉 奇,等.廣角望遠鏡實時自動調(diào)焦的清晰度評價方法[J].光學(xué)精密工程,2017,25(5):1 368-1 377.

[11] 王建元,郭 威,劉 洋.基于圖像識別的移動機器人自動完成充電[J].電測與儀表,2017,10(10):103-107.

[12] 洪裕珍,任國強,孫 健.離焦模糊圖像清晰度評價函數(shù)的分析與改進[J].光學(xué)精密工程,2014,22(12):3 401-3 408.

[13] 劉雪超.基于數(shù)字圖像處理的自動調(diào)焦技術(shù)研究[D].長春：中國科學(xué)院研究生院(長春光學(xué)精密機械與物理研究所),2014.

[14] 周 甫,鄭 堤,張 松.基于HALCON的單目視覺工件位姿測量方法研究[J].機械制造,2017,55(630):85-90.

[15] 張雨濃,勞穩(wěn)超,余曉填,等.兩輸入冪激勵前向神經(jīng)網(wǎng)絡(luò)權(quán)值與結(jié)構(gòu)確定[J].計算機工程與應(yīng)用,2012,48(15):102-106.

[16] 李 亞,樊汝森,蔣 偉,等.基于BP神經(jīng)網(wǎng)絡(luò)的智能臺區(qū)識別方法研究[J].電測與儀表,2017,54(3):25-30.