基于雙目視覺的識別測距系統(tǒng)設(shè)計

張潤豪 楊瑞 管艷

摘要：雙目視覺的識別測距主要通過雙目視覺系統(tǒng)模擬人的“雙眼”，從而獲得物體的形狀和距離的遠近。文章提出一種目標(biāo)識別測距系統(tǒng)，構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型，利用圖像處理技術(shù)識別目標(biāo)以及三角相似原理計算目標(biāo)距離，最后達到識別和檢測的目的。實驗結(jié)果表明，所設(shè)計的目標(biāo)識別測距系統(tǒng)能夠同時保證特定目標(biāo)的檢測和測距，具有一定的研究意義。

關(guān)鍵詞：雙目視覺；識別測距；神經(jīng)網(wǎng)絡(luò)

中圖分類號：TP391.41? 文獻標(biāo)志碼：A

0 引言

隨著農(nóng)業(yè)自動化的發(fā)展，水果的自動化與智能化采摘技術(shù)研究已成為當(dāng)今的研究熱點。然而，水果的采摘方式與其他作物不同，需要進行準(zhǔn)確的采摘。因此，依靠雙目視覺實現(xiàn)對目標(biāo)物的準(zhǔn)確識別和定位十分重要。雙目視覺對于危險生產(chǎn)場所的檢測、非接觸產(chǎn)品的質(zhì)量檢測以及位置隨機移動物體的實時檢測具有重要的研究意義和應(yīng)用價值［1］。雙目視覺技術(shù)還可應(yīng)用于機械臂、智能家居、智能制造、工業(yè)等具有巨大潛力的領(lǐng)域［2］。

其他測距方法測距誤差較大，測量范圍受限，而雙目視覺技術(shù)可以在不接觸目標(biāo)物的情況下識別和定位目標(biāo)物，還可以估計目標(biāo)物的深度信息。因此，本文選擇雙目測距法。然而，同時具備目標(biāo)物識別和測距的系統(tǒng)比較少，不能滿足指定工作的需求［3-5］。

針對上述存在的問題，結(jié)合雙目視覺和機器學(xué)習(xí)等技術(shù)［6-9］，本文提出了基于雙目視覺的目標(biāo)檢測測距方法，設(shè)計了一個基于雙目視覺的目標(biāo)檢測測距系統(tǒng)。該系統(tǒng)能夠?qū)崿F(xiàn)對目標(biāo)物的識別和定位，使人們可以利用計算機技術(shù)模擬人眼，方便后期的操作。該系統(tǒng)利用卷積神經(jīng)網(wǎng)絡(luò)對物體進行識別，再根據(jù)雙目相機測距原理，最后得到目標(biāo)與攝像頭之間的距離，從而最終實現(xiàn)定位。

1 雙目視覺系統(tǒng)

雙目系統(tǒng)主要由兩款相同的攝像頭組成，保持在同一個水平面上，并共享一個共同的觀察區(qū)。距離測量是用三角數(shù)學(xué)方法進行的。測距的原理如圖1所示。

2 雙目相機標(biāo)定

2.1 相機標(biāo)定

雙目相機中內(nèi)部和外部參數(shù)和畸變參數(shù)的精度直接影響后續(xù)測量的精度。因此，文章選用了具有精度高、操作方便的張正友標(biāo)定法。本文自制一個黑白棋盤，并將其固定在一個紙板上，如圖4所示。首先，使用雙目相機在不同的位置和角度拍攝大約30幅棋盤圖像。其次，將圖像分別導(dǎo)入MATLAB進行檢測校正。最后，經(jīng)過計算和分析，利用棋盤校準(zhǔn)板獲得左右相機內(nèi)部和外部參數(shù)及其位置的三維視圖。標(biāo)定結(jié)果如圖5所示。

2.2 立體校正

把實際中非共面行對準(zhǔn)的兩幅圖像，校正成共面行對準(zhǔn)，提高匹配搜索的效率。將消除畸變后的兩幅圖像嚴(yán)格地對應(yīng)，利用極線約束使得兩幅圖像的對極線恰好在同一水平線上，這樣一幅圖像上任意一點與其在另一幅圖像上的對應(yīng)點就必然具有相同的行號，只需在該行進行一維搜索即可匹配到對應(yīng)點。根據(jù)攝像頭標(biāo)定后獲得的雙目相對位置對左右視圖進行消除畸變和行對準(zhǔn)，如圖6所示。

2.3 立體匹配

立體匹配主要計算視差?；陔p目測距原理的分析使得可以通過計算由左右攝像機拍攝的每個圖像相應(yīng)點的視差來獲得關(guān)于圖像深度的信息。雙目立體視覺的三維重建過程中，需要通過立體匹配算法進行視差圖的計算得到左右兩幅圖像的視差值，進而計算深度以恢復(fù)場景的三維信息。要計算左右視圖中三維場景中目標(biāo)點生成的視差，左右視圖中的兩個對應(yīng)像點必須與該點匹配。然而，協(xié)調(diào)二維空間中的對應(yīng)點需要很長時間才能縮小適當(dāng)?shù)乃阉鞣秶枰M行雙目相機的立體校正，將二維上的匹配搜索降低到一維。立體匹配后，得到的視差圖如圖7所示。

3 圖像識別定位測距

3.1 數(shù)據(jù)標(biāo)注和圖片訓(xùn)練

數(shù)據(jù)標(biāo)注是處理原始語音、圖像、文本、視頻和其他數(shù)據(jù)并將其轉(zhuǎn)換為機器可讀信息的過程。機器無法識別和研究未標(biāo)記的原始數(shù)據(jù)。原始數(shù)據(jù)只有經(jīng)過標(biāo)注處理成為結(jié)構(gòu)化數(shù)據(jù)后才能被算法訓(xùn)練所使用。整個數(shù)據(jù)標(biāo)注的過程如下：首先，將要標(biāo)注的物體制作成數(shù)據(jù)集，并且圖片越多越好，如果樣本過少，模型訓(xùn)練和預(yù)測都會受到影響，非常容易欠擬合；其次，通過Labelme工具進行標(biāo)注，如圖8所示；最后，將數(shù)據(jù)集分為訓(xùn)練集、驗證集和測試集。數(shù)據(jù)標(biāo)注完成后，需要對標(biāo)注的數(shù)據(jù)集圖片進行訓(xùn)練，圖片訓(xùn)練完成后，可以看到訓(xùn)練好的模型的權(quán)重和PR Curve 曲線、Confusion Matrix （混淆矩陣）等訓(xùn)練過程數(shù)據(jù)。然后可以用訓(xùn)練的模型進行測試，配合雙目攝像頭，可以實現(xiàn)對特定物體的實時識別，如圖9所示。

3.2 雙目識別測距

雙目相機的工作方式與人眼相同。人眼感知物體距離的能力基于兩只眼睛在同一物體上呈現(xiàn)的圖像差異，也稱為視差。把物體識別和雙目測距結(jié)合在一起，融合了卷積神經(jīng)網(wǎng)絡(luò)，不僅能夠?qū)ξ矬w進行識別，還能夠進行測距。本文通過深度學(xué)習(xí)技術(shù)與傳統(tǒng)算法的結(jié)合，利用雙目相機實現(xiàn)了物體的精準(zhǔn)測距。

通過網(wǎng)絡(luò)框的置信度確定識別的準(zhǔn)確度，計算表達式為：

Pr（object）×IOUtruthpred（9）

IOUtruthpred=area（BBdt∩BBgt）area（BBdt∪BBgt）（10）

Pr（object）為訓(xùn)練樣本的概率；BBgt為物體標(biāo)簽的可行度，BBdt分為網(wǎng)絡(luò)預(yù)測的可信度；area為面積函數(shù)。測距效果如圖10所示。

4 結(jié)語

在目標(biāo)識別的基礎(chǔ)上，建立雙目系統(tǒng)，開發(fā)并實? 施基于雙目視覺和機器學(xué)習(xí)的識別和定位系統(tǒng)。該系統(tǒng)已被證明具有一定的精度和穩(wěn)定性。通過對雙目距離原理的研究，本文開發(fā)了一種基于雙目視覺的目標(biāo)測距和檢測系統(tǒng)，通過收集圖像、校準(zhǔn)相機、處理圖像并進行比較，最后進行目標(biāo)測試。實驗表明，目標(biāo)測距和檢測系統(tǒng)具有良好的精度和可行性。下一步，筆者將繼續(xù)深入研究、分析和提高雙目視覺，消除系統(tǒng)測量的準(zhǔn)確性和可靠性，研究雙目視覺在智能制造設(shè)備和相關(guān)智能場景中的應(yīng)用。

參考文獻

［1］任慧娟，金守峰，程云飛，等.面向分揀機器人的多目標(biāo)視覺識別定位方法［J］.機械與電子，2019（12）：64-68.

［2］趙剛，郭曉康，劉德政，等.隨機工件的點云場景CAD模型的快速識別與定位［J］.激光與紅外，2019（12）：1490-1496.

［3］柴鈺，許繼科.基于機器視覺的目標(biāo)識別與定位系統(tǒng)［J］.計算機工程與設(shè)計，2019（12）：3557-3562.

［4］連黎明.基于多信息融合的移動機器人定位算法［J］.西南師范大學(xué)學(xué)報（自然科學(xué)版），2019（9）：89-95.

［5］蔣萌，王堯堯，陳柏.基于雙目視覺的目標(biāo)識別與定位研究［J］.機電工程，2018（4）：414-419.

［6］王德海，洪偉，程群哲.基于雙目立體視覺的目標(biāo)識別與定位［J］.吉林大學(xué)學(xué)報（信息科學(xué)版），2016（2）：289-295.

［7］高如新，王俊孟.基于雙目視覺的目標(biāo)識別與定位［J］.河南理工大學(xué)學(xué)報（自然科學(xué)版），2014（4）：495-500.

［8］袁小平，張毅，張俠，等.基于改進FAST檢測的ORB特征匹配算法［J］.科學(xué)技術(shù)與工程，2019（21）：233-238.

［9］BOYKOV Y，VEKSLER O，ZABIH R. Fast approximate energy minimization via graph cuts［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，2001（11）：1222-1239.

（編輯 王雪芬）

Design of recognition and ranging system based on binocular vision

Zhang? Runhao， Yang? Rui， Guan? Yan

（School of Computer Science， Xijing University， Shaanxi 710123， China）

Abstract： The recognition and ranging of binocular vision mainly uses a binocular vision system to simulate the “eyes” of humans， thereby obtaining the shape of objects and the distance between them. This paper proposes a target recognition and ranging system， constructs a convolutional neural network model， uses image processing technology to identify the target， and calculates the target distance based on the triangular similarity principle， finally achieving recognition and detection. Experimental results show that the designed target recognition and ranging system can simultaneously ensure the detection and ranging of specific targets， which has certain research significance.

Key words： binocular vision; recognition ranging; neural network