基于機(jī)器視覺的安全距離檢測方法

裴云成，貝前程，劉海英，張紹杰

（齊魯工業(yè)大學(xué)（山東省科學(xué)院） 電氣工程與自動化學(xué)院，山東 濟(jì)南 250353）

0 引言

運(yùn)用機(jī)器視覺模擬人的視覺功能進(jìn)行視覺檢測已經(jīng)非常普遍。根據(jù)目標(biāo)物體、應(yīng)用場景和應(yīng)用目的等實(shí)時(shí)條件的不同，選用不同數(shù)量和種類的攝像頭，必要時(shí)配備相應(yīng)的光源來提取目標(biāo)事物的特征，然后根據(jù)獲取的圖像信息，經(jīng)過一系列數(shù)字化處理，提取所需的特征信息，最后經(jīng)過相應(yīng)的邏輯運(yùn)算實(shí)現(xiàn)工業(yè)生產(chǎn)、地質(zhì)勘探、科學(xué)研究等領(lǐng)域所需要的檢測、測量和控制等功能。機(jī)器視覺技術(shù)具有處理速度快、穩(wěn)定工作時(shí)間長、檢測準(zhǔn)確度高等特點(diǎn)［1］，能夠很好地適應(yīng)不同的環(huán)境，特別是在復(fù)雜環(huán)境下，能夠較好地代替人類完成相對危險(xiǎn)的工作。

雙目立體視覺是機(jī)器視覺的一種重要形式，其基于視差原理并利用兩個(gè)攝像機(jī)從兩個(gè)不同的位置獲取被測物體的兩幅圖像，通過計(jì)算圖像中對應(yīng)點(diǎn)的位置偏差，來獲取物體立體幾何信息［2］。

根據(jù)機(jī)器視覺的優(yōu)勢，結(jié)合使用場景，提出利用雙目視覺技術(shù)和圖像特征提取技術(shù)相結(jié)合，以代替?zhèn)鹘y(tǒng)距離測量方法，在高危復(fù)雜環(huán)境中檢測兩物體間的距離。利用特征提取技術(shù)可以更準(zhǔn)確地確定環(huán)境中物體的邊緣，然后利用雙目識別技術(shù)判斷周圍環(huán)境中兩物體邊緣距離是否達(dá)到安全范圍。

1 LOG 邊緣提取

邊緣提取為了突出圖像中物體的邊緣信息，常用圖像銳化進(jìn)行處理，而微分運(yùn)算是圖像銳化處理中常用的處理方式［3］。二階微分算子相較于一階微分算子能夠提取出更多的特征細(xì)節(jié)，因此，可使用二階拉普拉斯算子對原圖像進(jìn)行銳化處理，得出邊緣清晰的圖像，最后將拉普拉斯圖像與原始圖像進(jìn)行卷積運(yùn)算而產(chǎn)生銳化圖像。由于拉普拉斯算子對圖像中的噪聲比較敏感，增強(qiáng)圖像細(xì)節(jié)的同時(shí)也增加了圖像的噪聲［4］。所以在圖像銳化處理前須進(jìn)行高斯平滑濾波處理。

對圖像f（x，y）進(jìn)行高斯平滑，得

式中：σ 為平滑尺度。

圖像f（x，y）的拉普拉斯算子為

將式（1）和式（2）結(jié)合得出

式（3）為高斯拉普拉斯算子（Laplacian of Gaussian，LOG）表達(dá)式。運(yùn)算過程即先將圖片進(jìn)行高斯平滑，而后使用拉普拉斯算法對圖像進(jìn)行銳化處理。圖1 為LOG 算子的三維立體圖。

圖1 LOG 三維圖像

將LOG 算子與原圖像f（x，y） 進(jìn)行卷積得

其中常用的卷積模板為5×5 矩陣，即為

經(jīng)過卷積計(jì)算可得到邊緣特征信息較清晰的圖像［5］，如圖2 所示。

圖2 LOG 圖像處理算法模型

由圖2 可以看出，模糊圖像經(jīng)卷積處理后邊緣信息變得更加清晰。

2 雙目立體視覺測距系統(tǒng)

2.1 雙目立體視覺原理

雙目立體視覺系統(tǒng)是通過平行的兩個(gè)攝像機(jī)同時(shí)拍攝同一個(gè)目標(biāo)物體，在獲得兩幅二維圖像后計(jì)算出其像素位置偏差［6］，然后根據(jù)幾何原理計(jì)算出被測物體在空間中的立體坐標(biāo)，雙目立體視覺原理如圖3 所示。

圖3 雙目立體視覺原理

圖3 中，雙目立體視覺系統(tǒng)左右攝像機(jī)的光心分別是OA和OB，同時(shí)OAZA與OBZB平行；L 為兩光心間距離即基線長度；fA和fB分別為左右攝像機(jī)的焦距；P 為目標(biāo)物體位置；PA（x1，y1）和PB（x2，y2）分別為P 點(diǎn)在左右攝像機(jī)成像平面上投影點(diǎn)的坐標(biāo)［7］。當(dāng)兩攝像機(jī)在同一垂直平面時(shí)，其成像平面Y 軸上的坐標(biāo)值相等，根據(jù)幾何原理可得出Z 軸上的坐標(biāo)為

式中：f 為攝像機(jī)的焦距；L 為基線長度；x1、x2為點(diǎn)P在系統(tǒng)中左右攝像機(jī)成像平面中X 軸的坐標(biāo)值。

同理可推導(dǎo)出P 點(diǎn)X 軸和Y 軸的坐標(biāo)Xc、Yc為

式中：y 為成像平面所在坐標(biāo)系中Y 軸的坐標(biāo)值，且y=y1=y2。

根據(jù)以上原理和公式可確定兩物體上某一點(diǎn)的三維坐標(biāo)［8］，進(jìn)而確定物體之間的距離。

2.2 雙目立體視覺系統(tǒng)的標(biāo)定原理

攝像機(jī)安裝誤差也是影響雙目視覺系統(tǒng)測距精度的原因，所以在雙目立體視覺系統(tǒng)使用時(shí)應(yīng)對攝像機(jī)進(jìn)行標(biāo)定［9］。

單目攝像機(jī)標(biāo)定時(shí)所需坐標(biāo)系關(guān)系如圖4 所示。

圖4 坐標(biāo)系關(guān)系

圖4 中攝像機(jī)坐標(biāo)系的ZC軸與攝像機(jī)光軸重合，XC軸與成像平面的水平方向平行，YC軸與成像平面的垂直方向平行，原點(diǎn)OC為攝像機(jī)的光學(xué)中心［10］。物理坐標(biāo)系的原點(diǎn)為攝像機(jī)的光軸與成像平面的交點(diǎn)，X 軸平行于XC軸，Y 軸平行于YC軸。像素坐標(biāo)系是和成像平面邊緣重合的坐標(biāo)系，其坐標(biāo)原點(diǎn)OU為其左上角，XU軸與XC軸平行，YU軸與YC軸平行［11］。世界坐標(biāo)系的坐標(biāo)軸為任意選取。設(shè)P 點(diǎn)的世界坐標(biāo)為（Xw，Yw，Zw），攝像機(jī)坐標(biāo)為（Xc，Yc，Zc）。由于像平面坐標(biāo)系是二維平面，所以P 點(diǎn)的像平面坐標(biāo)為（X，Y），像素坐標(biāo)為（u，v）。根據(jù)像素坐標(biāo)系與像平面坐標(biāo)系之間的幾何位置關(guān)系可得

式中：dx、dy為像素尺寸；u0、v0是圖像的中心點(diǎn)。結(jié)合攝像機(jī)坐標(biāo)系和世界坐標(biāo)系,利用其幾何關(guān)系可得

式中：R 為3×3 階正交旋轉(zhuǎn)矩陣；T 為3×1 的平移向量；E=［0 0 0］。根據(jù)式（5）—式（8）可得

式中：fx＝L／dx，fy＝L／dy；zc為點(diǎn)P 在攝像機(jī)坐標(biāo)系中Z軸的坐標(biāo)值。

單目攝像機(jī)的標(biāo)定是根據(jù)已知的像素坐標(biāo)系和實(shí)際坐標(biāo)系間關(guān)系計(jì)算出攝像機(jī)的內(nèi)部參數(shù)，其結(jié)果與攝像機(jī)的種類規(guī)格有關(guān)，與使用的外部環(huán)境無關(guān)［12］。雙目攝像機(jī)標(biāo)定在已知單目攝像機(jī)標(biāo)定結(jié)果的基礎(chǔ)上進(jìn)行，使兩個(gè)單目攝像機(jī)的焦距相似［13］。雙目標(biāo)定需要確定每個(gè)攝像機(jī)對應(yīng)的旋轉(zhuǎn)矩陣和平移矩陣，假設(shè)左右攝像機(jī)標(biāo)定的旋轉(zhuǎn)矩陣為RA、RB，平移矩陣為TA、TB，可計(jì)算出雙目視覺系統(tǒng)對應(yīng)的旋轉(zhuǎn)矩陣R 和平移矩陣T，結(jié)果為

3 雙目立體視覺測距系統(tǒng)實(shí)現(xiàn)

通過對圖像邊緣提取與雙目立體視覺系統(tǒng)測距原理的分析，搭建完整的雙目立體視覺測距系統(tǒng)，經(jīng)過一系列處理與運(yùn)算得到所需要的距離。

3.1 攝像機(jī)標(biāo)定

利用MATLAB（2019b）中的stereo camera calibrator 雙目攝像機(jī)標(biāo)定程序進(jìn)行標(biāo)定。首先利用MATLAB（2019b）繪制標(biāo)準(zhǔn)棋盤格，如圖5 所示，并將繪制好的棋盤格打印并制成棋盤格標(biāo)定板。利用雙目立體視覺系統(tǒng)中的兩個(gè)攝像機(jī)同時(shí)拍攝9 張不同角度的標(biāo)定板圖片，如圖6 所示。

圖5 棋盤格

圖6 雙目標(biāo)定

圖6 中綠色標(biāo)記為系統(tǒng)檢測到的點(diǎn)，紅色標(biāo)記為重投點(diǎn)，黃色標(biāo)記為棋盤格原點(diǎn)。

然后利用采集的9 對標(biāo)定板信息使用stereo camera calibrator 雙目攝像機(jī)標(biāo)定程序?qū)z像機(jī)進(jìn)行標(biāo)定，標(biāo)定結(jié)果如圖7 所示。

圖7 每幅圖像的平均重投影誤差

由圖7 可看出，除第5 對圖像信息外，兩攝像機(jī)采集的每對圖像的像素誤差之間的差值非常小。圖8 清晰地展示出標(biāo)定時(shí)像和相機(jī)之間的相對位置關(guān)系。

圖8 外部參數(shù)可視化

3.2 單幀圖片預(yù)處理

在進(jìn)行距離測量之前，將采集的輸電線路周圍環(huán)境的單幀圖片經(jīng)過LOG 邊緣提取使得圖片邊緣信息更加清晰，處理結(jié)果如圖9 所示。

圖9 LOG 邊緣提取

3.3 視圖極線矯正

極線矯正是將預(yù)處理后的圖片中的物體進(jìn)行對準(zhǔn)，根據(jù)對極條件使左右視圖中相同位置的點(diǎn)處于同一條水平線上，在提高系統(tǒng)的匹配搜索效率的同時(shí)提高系統(tǒng)的精確度［14］。

3.4 計(jì)算邊緣間距離

圖像經(jīng)過預(yù)處理后，根據(jù)雙目立體視覺原理隨機(jī)建立世界坐標(biāo)系并得出圖像中物體邊緣的世界坐標(biāo)，然后利用空間點(diǎn)距離公式，計(jì)算出圖片中物體邊緣間的最短距離，此距離為兩物體間的距離。

4 結(jié)果與分析

為了驗(yàn)證此方法的可行性與準(zhǔn)確性，實(shí)驗(yàn)首先測量兩方盒之間的距離，然后對比測量值與實(shí)際值之間的誤差來判斷系統(tǒng)的準(zhǔn)確性，其結(jié)果如表1所示。

表1 測量距離與誤差值

由表1 中的數(shù)據(jù)可得出，雙目立體視覺測量值的最小絕對誤差為0.3 cm，最大絕對誤差為1.1 cm，最小相對誤差為1.1%，最大相對誤差為2.0%，測量結(jié)果的誤差值都在可接受范圍內(nèi)，符合輸電線路周圍物體安全距離測量的誤差標(biāo)準(zhǔn)［15］。

5 結(jié)語

將雙目視覺技術(shù)與圖像處理技術(shù)相結(jié)合，應(yīng)用LOG 算法對采集的圖像先進(jìn)行平滑處理，然后進(jìn)行銳化處理，獲得清晰的邊緣信息，根據(jù)雙目立體視覺標(biāo)定原理，獲取圖像邊緣點(diǎn)的世界坐標(biāo)，最后根據(jù)空間點(diǎn)的距離公式可獲得兩物體間距離集合。篩選出其中的最短距離，即可作為安全距離的判斷依據(jù)。此方法的檢測速度快，準(zhǔn)確度能夠滿足輸電網(wǎng)絡(luò)周圍障礙物安全距離檢測的要求，應(yīng)用此方法可以減少電力工作者的工作強(qiáng)度，但其是否能適應(yīng)更為惡劣的天氣環(huán)境，還需要進(jìn)一步研究。