基于立體視覺的雪地目標(biāo)跟蹤技術(shù)

韓鎰璘，王新語(yǔ)，謝艷秋，趙 崢（通信作者）

（1 佳木斯大學(xué)經(jīng)濟(jì)與管理學(xué)院 黑龍江 佳木斯 154007）

（2 佳木斯大學(xué)體育學(xué)院 黑龍江 佳木斯 154007）

（3 佳木斯大學(xué)機(jī)械工程學(xué)院 黑龍江 佳木斯 154007）

（4 佳木斯大學(xué) 黑龍江 佳木斯 154002）

0 引言

隨著社會(huì)的不斷發(fā)展和科技的迅猛進(jìn)步，機(jī)器人、無人機(jī)等智能設(shè)備在各個(gè)領(lǐng)域的應(yīng)用日益廣泛［1-2］。 然而，當(dāng)前的目標(biāo)跟蹤技術(shù)在復(fù)雜的雪地環(huán)境下仍然面臨著一系列挑戰(zhàn)。 雪地環(huán)境的特殊性質(zhì)，例如強(qiáng)烈的反射和散射效應(yīng)、低對(duì)比度、深度感知的困難以及目標(biāo)與背景之間模糊的邊界等，使得傳統(tǒng)的目標(biāo)跟蹤方法往往無法滿足精確和穩(wěn)定的跟蹤需求。 因此，開發(fā)一種基于立體視覺的雪地目標(biāo)跟蹤技術(shù)［3-4］成為解決這一問題的關(guān)鍵。 本研究旨在分析雪地中目標(biāo)的特點(diǎn)，并基于卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)目標(biāo)識(shí)別，結(jié)合視差計(jì)算和距離估計(jì)實(shí)現(xiàn)目標(biāo)的距離判別。 通過利用立體視覺提供的豐富深度信息，可以有效地克服雪地環(huán)境的復(fù)雜性，實(shí)現(xiàn)高精度的目標(biāo)跟蹤。

1 基于立體視覺的雪地目標(biāo)檢測(cè)與識(shí)別

1.1 雪地圖像特征分析

如圖1 所示，在雪地中目標(biāo)圖像具有獨(dú)有的特征，此特征對(duì)目標(biāo)跟蹤技術(shù)的設(shè)計(jì)和實(shí)施提出了挑戰(zhàn)。

圖1 雪地里的一個(gè)典型目標(biāo)

雪地環(huán)境中的光線會(huì)發(fā)生強(qiáng)烈的反射和散射，導(dǎo)致目標(biāo)圖像的亮度和對(duì)比度變化較大，這種現(xiàn)象會(huì)使得目標(biāo)的邊緣和細(xì)節(jié)變得模糊，降低了目標(biāo)識(shí)別和跟蹤的準(zhǔn)確性；由于雪地的亮度較高且均勻，目標(biāo)與背景之間的對(duì)比度較低，這使得目標(biāo)在圖像中不易與周圍環(huán)境進(jìn)行明顯區(qū)分，增加了目標(biāo)檢測(cè)和識(shí)別的困難；由于雪地的紋理較為單一，難以提供明顯的深度線索，因此，在雪地中準(zhǔn)確估計(jì)目標(biāo)與相機(jī)之間的距離是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，需要利用其他視覺信息來輔助深度感知；雪地的紋理和顏色變化較小，且常常存在大面積的連續(xù)白色背景，使得目標(biāo)與背景之間的邊界模糊，這種背景干擾增加了目標(biāo)檢測(cè)和跟蹤的難度，容易引起誤識(shí)別和漂移現(xiàn)象。

1.2 基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)識(shí)別

所提方法首先利用卷積神經(jīng)網(wǎng)絡(luò)［5］對(duì)雪地中的目標(biāo)進(jìn)行識(shí)別，然后對(duì)目標(biāo)矩形的中心點(diǎn)進(jìn)行檢測(cè)計(jì)算，以估計(jì)目標(biāo)的距離。

如圖2 所示，在卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)識(shí)別階段，輸入一張雪地圖像，表示為I，其尺寸為W × H × C，其中W和H分別為圖像的寬度和高度，C為通道數(shù)。 卷積層是卷積神經(jīng)網(wǎng)絡(luò)的核心組件。 它利用一組可學(xué)習(xí)的濾波器（卷積核）對(duì)輸入圖像進(jìn)行卷積操作，提取圖像的特征。卷積操作通過滑動(dòng)窗口在圖像上移動(dòng)，并在每個(gè)位置進(jìn)行元素乘法和加法運(yùn)算。 卷積層的輸出由多個(gè)二維特征圖組成。 在卷積操作中，假設(shè)輸入特征圖為X，卷積核為K，輸出特征圖為Y，則可以表示為式（1）：

圖2 卷積神經(jīng)網(wǎng)絡(luò)的工作方式

式（1）中，*表示卷積操作，b表示偏置項(xiàng)，f表示激活函數(shù)。 卷積操作可通過設(shè)置不同的卷積核大小、步幅和填充方式來控制特征圖的大小和維度。 池化層用于對(duì)卷積層的輸出進(jìn)行下采樣，減少特征圖的尺寸。 常用的池化操作包括最大池化和平均池化。 池化層通過滑動(dòng)窗口在特征圖上移動(dòng)，并在每個(gè)窗口中取最大值或平均值作為輸出。假設(shè)輸入特征圖為X，池化操作的窗口大小為p，步幅為s，則最大池化的輸出Y可以表示為式（2）：

式（2）中，ps為池化窗口的大小，k表示通道數(shù)。 全連接層用于將卷積層和池化層的輸出特征映射到目標(biāo)類別的分?jǐn)?shù)。 全連接層中的每個(gè)神經(jīng)元與前一層的所有神經(jīng)元相連接，通過學(xué)習(xí)權(quán)重參數(shù)來實(shí)現(xiàn)特征的線性組合。 假設(shè)卷積層和池化層的輸出特征為Z，全連接層的權(quán)重矩陣為W，偏置項(xiàng)為b，激活函數(shù)為f，則全連接層的輸出Y可以表示為式（3）：

輸出層用于對(duì)全連接層的輸出進(jìn)行分類。 通常使用softmax 函數(shù)將網(wǎng)絡(luò)輸出轉(zhuǎn)化為概率分布，表示每個(gè)類別的概率。 假設(shè)全連接層的輸出為Z，輸出層的權(quán)重矩陣為W，偏置項(xiàng)為b，softmax 函數(shù)為σ，則輸出層的輸出Y可以表示為式（4）：

通過訓(xùn)練數(shù)據(jù)和反向傳播算法，卷積神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)到圖像中的特征表示，并在目標(biāo)識(shí)別任務(wù)中實(shí)現(xiàn)高準(zhǔn)確度的分類和定位。

1.3 視差計(jì)算與距離估計(jì)

在立體視覺中，目標(biāo)經(jīng)由卷積神經(jīng)網(wǎng)絡(luò)識(shí)別后，需要通過矩形框定位目標(biāo)，并利用兩幅圖像之間的視差差異來估計(jì)目標(biāo)的距離。

在目標(biāo)定位時(shí)，通過卷積神經(jīng)網(wǎng)絡(luò)的輸出，可以獲得目標(biāo)在圖像中的位置和尺寸信息。 假設(shè)卷積神經(jīng)網(wǎng)絡(luò)的輸出為Y，其中每個(gè)元素Y（i，j） 表示對(duì)應(yīng)位置的目標(biāo)得分。 可以通過閾值處理和連通域分析等方法，確定目標(biāo)在圖像中的位置，并繪制一個(gè)矩形框來框定目標(biāo)。

立體視覺系統(tǒng)中通常包含兩個(gè)相機(jī)，分別為左相機(jī)和右相機(jī)。 利用這兩個(gè)相機(jī)獲取的圖像，可以獲得左視圖和右視圖。 首先假設(shè)左視圖為IL（x，y）（x和y分別表示像素的水平和垂直坐標(biāo)），右視圖為IR（x，y） 。 然后進(jìn)行視差計(jì)算。 視差是指左視圖和右視圖中對(duì)應(yīng)像素之間的水平位移。 通過計(jì)算視差，可以獲取目標(biāo)在左視圖和右視圖中的對(duì)應(yīng)位置。 視差計(jì)算的方法可以使用塊匹配算法，假設(shè)目標(biāo)在左視圖中的像素位置為（xl，yl），在右視圖中的像素位置為（xr，yr），則視差d可以通過式（5）計(jì)算得出。

通過視差信息，可以估計(jì)目標(biāo)與相機(jī)之間的距離。 視差和距離之間存在一種近似的線性關(guān)系，可以通過攝像機(jī)的內(nèi)參和外參來計(jì)算。 假設(shè)f為相機(jī)的焦距，b為兩個(gè)相機(jī)之間的基線距離，則目標(biāo)距離相機(jī)的距離Z可以通過式（6）計(jì)算得出。

式（6）中，d為前一步驟中計(jì)算得到的視差值。

2 實(shí)驗(yàn)與分析

2.1 數(shù)據(jù)集

在實(shí)驗(yàn)中，根據(jù)Python 網(wǎng)絡(luò)爬蟲捕獲雪景圖片以構(gòu)建數(shù)據(jù)集（數(shù)據(jù)集的部分圖片如圖3 所示），使用該數(shù)據(jù)集對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

圖3 數(shù)據(jù)集的部分圖片

圖4 雪地目標(biāo)識(shí)別的結(jié)果

（1）網(wǎng)絡(luò)爬蟲的準(zhǔn)備：首先準(zhǔn)備一個(gè)Python 開發(fā)環(huán)境，并安裝相關(guān)的爬蟲庫(kù)和工具，包括Requests 庫(kù)、BeautifulSoup 庫(kù)等。 然后可以發(fā)送網(wǎng)絡(luò)請(qǐng)求，解析超文本標(biāo)記語(yǔ)言（hyper text markup language，HTML）頁(yè)面，并提取所需的圖片統(tǒng)一資源定位符（uniform resource location，URL）。

（2）網(wǎng)絡(luò)請(qǐng)求與頁(yè)面解析：網(wǎng)絡(luò)爬蟲向目標(biāo)網(wǎng)站發(fā)送超文本傳輸協(xié)議（hyper text transfer protocol，HTTP）請(qǐng)求，獲取包含雪景圖片的網(wǎng)頁(yè)。 Requests 庫(kù)可以方便發(fā)送HTTP 請(qǐng)求，并獲取返回的網(wǎng)頁(yè)內(nèi)容。 使用BeautifulSoup庫(kù)對(duì)網(wǎng)頁(yè)進(jìn)行解析，提取出圖片標(biāo)簽及其相關(guān)屬性信息。

（3）圖片URL 提取：在解析網(wǎng)頁(yè)時(shí)，需要通過HTML標(biāo)簽和屬性信息，提取出圖片的URL。 通過BeautifulSoup庫(kù)提供的方法，可以輕松地定位圖片標(biāo)簽，并獲取其對(duì)應(yīng)的URL。

（4）圖片下載與保存：獲取到圖片URL 后，使用Python 的圖像處理庫(kù)（Python imaging library，PIL）中的函數(shù)，將圖片下載到本地。 通過發(fā)送HTTP 請(qǐng)求獲取圖片內(nèi)容，并將其保存為文件。

（5）數(shù)據(jù)集構(gòu)建：通過循環(huán)遍歷上述步驟，可以持續(xù)地獲取雪景圖片，并將其保存到指定的文件夾中。 可以根據(jù)實(shí)際需求設(shè)置獲取的圖片數(shù)量和存儲(chǔ)的文件命名規(guī)則，以構(gòu)建具有多樣性和豐富性的雪景圖片數(shù)據(jù)集。

2.2 訓(xùn)練與測(cè)試

使用該數(shù)據(jù)集進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和測(cè)試可以按照以下步驟進(jìn)行：

（1）數(shù)據(jù)集劃分：數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集，本實(shí)驗(yàn)的劃分比例是將數(shù)據(jù)集的大約70%用作訓(xùn)練集，30%用作測(cè)試集。 確保數(shù)據(jù)集的劃分是隨機(jī)的，以避免訓(xùn)練集和測(cè)試集之間的偏差。

（2）數(shù)據(jù)預(yù)處理：在訓(xùn)練和測(cè)試之前，需要對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理。 這包括圖像的加載、大小調(diào)整、歸一化等操作。

（3）網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)：根據(jù)任務(wù)需求和數(shù)據(jù)集特點(diǎn)，設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，網(wǎng)絡(luò)的設(shè)計(jì)涉及卷積層、池化層、全連接層、激活函數(shù)的選擇以及超參數(shù)的設(shè)置。

（4）網(wǎng)絡(luò)訓(xùn)練：使用訓(xùn)練集對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。 訓(xùn)練過程中，通過反向傳播算法更新網(wǎng)絡(luò)的權(quán)重參數(shù)，使其逐步適應(yīng)數(shù)據(jù)集的特征。 訓(xùn)練過程中需要選擇合適的優(yōu)化算法（如隨機(jī)梯度下降法）、損失函數(shù)（如交叉熵?fù)p失函數(shù)）以及訓(xùn)練的迭代次數(shù)。

（5）模型評(píng)估：使用測(cè)試集對(duì)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行評(píng)估。 評(píng)估指標(biāo)可以包括準(zhǔn)確率、精確率、召回率、F1值等，用于衡量模型的性能和泛化能力。 通過評(píng)估結(jié)果可以判斷網(wǎng)絡(luò)的訓(xùn)練效果，并對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化和調(diào)整。

（6）模型應(yīng)用：在訓(xùn)練和測(cè)試階段完成后，可以使用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)對(duì)新的雪景圖像進(jìn)行分類、識(shí)別或其他任務(wù)。 可以將網(wǎng)絡(luò)部署到實(shí)際應(yīng)用中，實(shí)現(xiàn)自動(dòng)化的目標(biāo)識(shí)別等功能。

2.3 結(jié)果與分析

當(dāng)將圖像輸入已經(jīng)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)中時(shí)，可以通過以下方式實(shí)現(xiàn)對(duì)識(shí)別目標(biāo)的矩形框標(biāo)注：

（1）前向傳播：將輸入圖像通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行前向傳播。 在前向傳播過程中，圖像將經(jīng)過一系列的卷積層、池化層和全連接層，最終生成網(wǎng)絡(luò)的輸出結(jié)果。

（2）目標(biāo)識(shí)別：通過前向傳播，卷積神經(jīng)網(wǎng)絡(luò)可以對(duì)輸入圖像進(jìn)行目標(biāo)識(shí)別。 在輸出層的概率分布中，每個(gè)類別對(duì)應(yīng)的概率值表示圖像中存在該類別目標(biāo)的可能性。

（3）概率閾值處理：為了篩選出置信度較高的目標(biāo)識(shí)別結(jié)果，可以設(shè)置一個(gè)概率閾值。 將輸出層中每個(gè)類別的概率與閾值進(jìn)行比較，若大于等于閾值則認(rèn)為該類別的目標(biāo)存在，若小于閾值則認(rèn)為該類別目標(biāo)不存在。

（4）矩形框標(biāo)注：針對(duì)被識(shí)別為目標(biāo)的區(qū)域，可以使用矩形框進(jìn)行標(biāo)注。 可以根據(jù)目標(biāo)在圖像中的位置信息，繪制一個(gè)框來圍住目標(biāo)區(qū)域。 通?？虻奈恢糜赡繕?biāo)的邊界框的左上角和右下角坐標(biāo)確定。

當(dāng)使用視差原理計(jì)算雙目立體視覺中的目標(biāo)距離后，可以使用表格形式來分析距離誤差，如表1 所示。

表1 基于立體視覺的雪地目標(biāo)跟蹤技術(shù)的測(cè)距結(jié)果

表1 的每一行代表了在雙目立體視覺的左右圖像中標(biāo)記的一個(gè)目標(biāo)。 “目標(biāo)編號(hào)”列用于唯一標(biāo)識(shí)每個(gè)目標(biāo)，“計(jì)算距離”列表示使用視差原理計(jì)算得到的距離值，“實(shí)際距離”列包含目標(biāo)的實(shí)際距離，可以通過獨(dú)立測(cè)量或已知值獲得，最后，“誤差”列顯示了計(jì)算距離與實(shí)際距離之間的絕對(duì)差值，表示距離估計(jì)的誤差大小。 表1 中，距離估計(jì)的誤差主要集中在0.2 m 以下，并且大多數(shù)情況下誤差在正負(fù)0.2 m 范圍內(nèi)。 這表明該距離估計(jì)方法在3～8 m 的距離內(nèi)能夠較準(zhǔn)確地估計(jì)目標(biāo)的距離，但在某些情況下可能存在略微誤差。

3 結(jié)論與展望

綜上所述，本文針對(duì)雪地目標(biāo)追蹤問題，提出了一種基于立體視覺的解決方案。 通過分析雪地中目標(biāo)的特征，并利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)識(shí)別，能夠準(zhǔn)確地識(shí)別出目標(biāo)。 結(jié)合視差計(jì)算和距離估計(jì)實(shí)現(xiàn)目標(biāo)的距離判別。 為了驗(yàn)證算法的有效性，構(gòu)建了一個(gè)數(shù)據(jù)集，并進(jìn)行了訓(xùn)練和測(cè)試。 實(shí)驗(yàn)結(jié)果表明，所提出的方法在雪地目標(biāo)追蹤任務(wù)中取得了良好的效果。 未來的研究可以進(jìn)一步優(yōu)化算法，提高目標(biāo)識(shí)別和距離估計(jì)的準(zhǔn)確性，并探索更廣泛的應(yīng)用領(lǐng)域。 本研究對(duì)于增強(qiáng)雪地環(huán)境下目標(biāo)追蹤技術(shù)的發(fā)展具有一定的參考價(jià)值。