基于目標(biāo)尺度的實(shí)時(shí)智能感知自適應(yīng)聚變焦技術(shù)

程勇策，李 楠，喬宇晨，朱向前

（中國(guó)電子科技集團(tuán)公司第三研究所，北京 100015）

0 引 言

在光電偵察中，由于視場(chǎng)角和作用距離之間的矛盾，常常需要調(diào)整相機(jī)的焦距。同時(shí)，不同距離的目標(biāo)成像后需要調(diào)節(jié)聚焦，以便使圖像更加清晰。由于觀測(cè)目標(biāo)的隨機(jī)性和人的視覺(jué)感受差異，尚沒(méi)有一個(gè)準(zhǔn)確的聚變焦方法能夠滿足所有的應(yīng)用。

目前針對(duì)性的研究中，杜平等[1]實(shí)現(xiàn)了50～ 200 mm范圍內(nèi)紅外4倍連續(xù)變焦，完成了對(duì)特定景物的放大縮小，且切換過(guò)程中不會(huì)造成目標(biāo)丟失；潘雪娟等[2]使用了圖像熵作為圖像清晰度的判別函數(shù)，對(duì)紅外圖像的聚焦效果進(jìn)行了驗(yàn)證；周麗平等[3]針對(duì)顯微視覺(jué)系統(tǒng)小視場(chǎng)的特點(diǎn)，使用了頻域聚焦和時(shí)域聚焦相結(jié)合的方法，提高了顯微成像的聚焦正確性和穩(wěn)定性；張耀軍等[4]使用基于非下采樣剪切波變換（Non Subsampled Shearlet Transform，NSST）圖像特征實(shí)現(xiàn)了多個(gè)不同聚焦圖像的融合，獲得了結(jié)果圖像，擁有更清晰的視覺(jué)效果。

本文主要針對(duì)工程中遇到的目標(biāo)聚變焦問(wèn)題，使用深度學(xué)習(xí)和梯度算子相結(jié)合的方法，實(shí)現(xiàn)光電偵察系統(tǒng)快速變化焦距且快速完成對(duì)焦，為光電偵察的無(wú)人化值守提供技術(shù)支撐。

1 基于深度學(xué)習(xí)的自動(dòng)焦距調(diào)節(jié)系統(tǒng)

在光電系統(tǒng)中，通常需要根據(jù)目標(biāo)在視場(chǎng)中的大小來(lái)判斷焦距是否合適。其中，最重要的環(huán)節(jié)是檢測(cè)出圖像中的目標(biāo)，并確定其范圍。

1.1 基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法

隨著相關(guān)器具性能的提高，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)方法突破了傳統(tǒng)目標(biāo)檢測(cè)的瓶頸，成為當(dāng)前目標(biāo)檢測(cè)的主流算法之一。李旭冬等[5]描述了當(dāng)前卷積神經(jīng)網(wǎng)絡(luò)的研究進(jìn)展及常用的卷積神經(jīng)網(wǎng)絡(luò)；Lin T Y等[6]提出基于特征金字塔的FPN算法，在增加極小計(jì)算量的情況下，處理物體檢測(cè)中的多尺度變化問(wèn)題；Ren S等[7]提出基于R-CNN的目標(biāo)檢測(cè)算法，實(shí)現(xiàn)了準(zhǔn)確的實(shí)時(shí)目標(biāo)檢測(cè)。Redmon J等[8]提出的YOLOv3算法具有小而精的特點(diǎn)，在保證算法準(zhǔn)確性不變的基礎(chǔ)上，通過(guò)減少算法輸出張量的尺度，可以有效減小算法的運(yùn)算量，提高算法的運(yùn)行速度。本文基于YOLOv3算法，能準(zhǔn)確識(shí)別實(shí)時(shí)視頻中的目標(biāo)，并對(duì)目標(biāo)的尺寸與視場(chǎng)范圍角度進(jìn)行對(duì)比，對(duì)視頻的焦距變化提出變焦建議，使目標(biāo)在視場(chǎng)中保持一定尺寸，便于觀察。

YOLOv3使用ResNet的殘差思想和多尺度預(yù)測(cè)，使其在一定程度上可以進(jìn)行不同尺度的目標(biāo)識(shí)別。原始圖片在預(yù)處理階段被填充縮放至416×416的大小，作為網(wǎng)絡(luò)輸入。YOLOv3的特征提取網(wǎng)絡(luò)結(jié)構(gòu)為DarkNet53，輸入圖片經(jīng)過(guò)DarkNet53網(wǎng)絡(luò)降采樣5次，每次產(chǎn)生不同尺度的特征圖。YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 YOLOV3網(wǎng)絡(luò)結(jié)構(gòu)

目標(biāo)檢測(cè)階段采用多尺度融合的方式，在最后3個(gè)尺度（13×13、26×26、52×52）的特征圖上分別檢測(cè)。每個(gè)尺度上有3個(gè)錨點(diǎn)框（anchor boxes）用于檢測(cè)不同規(guī)格的目標(biāo)。算法按照特征圖的大?。⊿×S）將416×416的圖片劃分為S×S個(gè)等大柵格（grid cell），每個(gè)柵格根據(jù)錨點(diǎn)框預(yù)測(cè)3個(gè)邊界框（bounding boxes）。每個(gè)邊界框返回兩類參數(shù)：第一類為目標(biāo)框信息，即目標(biāo)框的中心位置與目標(biāo)框的寬和高；第二類為目標(biāo)的置信度，取值范圍為[0，1]。 具體檢測(cè)方法為：先對(duì)13×13的特征圖進(jìn)行卷積預(yù)測(cè)，得到第1個(gè)尺度下的檢測(cè)結(jié)果；之后將13×13的特征圖上采樣得到26×26特征圖，與網(wǎng)絡(luò)降采樣生成的26×26特征圖進(jìn)行特征融合后進(jìn)行卷積預(yù)測(cè)，得到第2個(gè)尺度下的結(jié)果；同理得到第3個(gè)尺度下的結(jié)果。將3次檢測(cè)結(jié)果進(jìn)行非極大值抑制（Non-Maximum Suppression，NMS），得到最終 結(jié)果。

YOLOV3采用logistic方式，邊框預(yù)測(cè)公式為：

式中：cx、cy是網(wǎng)格的坐標(biāo)偏移量；pw、ph是預(yù)設(shè)的anchor box的邊長(zhǎng)。最終得到的邊框坐標(biāo)值是bx、by、bw、bh，網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)是tx、ty、tw、th。

1.2 基于目標(biāo)檢測(cè)的焦距調(diào)節(jié)算法

本算法對(duì)輸入視頻進(jìn)行逐幀檢測(cè)，獲取檢測(cè)目標(biāo)的邊界框，得到檢測(cè)目標(biāo)的寬、高數(shù)值。分別計(jì)算檢測(cè)目標(biāo)的寬、高與原始視頻寬、高的比值，取兩者較小值為檢測(cè)目標(biāo)的尺寸特征變量。若其數(shù)值小于0.6，檢測(cè)目標(biāo)尺寸較小，建議增大焦距，放大目標(biāo)在視場(chǎng)中所占比例；若其數(shù)值大于0.4，檢測(cè)目標(biāo)尺寸較大，建議減小焦距，減小目標(biāo)在視場(chǎng)中所占比例。

2 基于梯度的自動(dòng)聚焦調(diào)節(jié)系統(tǒng)

自動(dòng)聚焦主要包括圖像清晰度評(píng)價(jià)函數(shù)、基于評(píng)價(jià)函數(shù)的圖像清晰度計(jì)算方法以及自動(dòng)聚焦策略3個(gè)環(huán)節(jié)。

2.1 基于梯度的圖像清晰度評(píng)價(jià)函數(shù)

張宏飛等[9]提出了以圖像的灰度梯度和閾值計(jì)數(shù)為基礎(chǔ)的清晰度評(píng)價(jià)方法。在視場(chǎng)不變的情況下，圖像清晰度最高的聚焦位置為對(duì)比度高、邊緣清晰的情況。這種情況下，對(duì)應(yīng)圖像的邊緣高頻分量的信息較高。為了兼顧效率，本文使用了空域的梯度作為圖像清晰度的評(píng)價(jià)標(biāo)準(zhǔn)，用來(lái)檢測(cè)圖像的邊緣高頻信息。使用拉普拉斯算子進(jìn)行梯度計(jì)算，考慮X、Y兩維方向：

式中：f()為像素的數(shù)值。

2.2 圖像清晰度的計(jì)算方法

在實(shí)際計(jì)算圖像清晰度時(shí)，需要進(jìn)行條件約束，來(lái)降低噪聲及干擾的影響，具體采用3個(gè)步驟進(jìn)行處理：

（1）將彩色RGB圖像變換為灰度圖，以提高計(jì)算效率；

（2）對(duì)圖像進(jìn)行高斯濾波，消除圖像中的椒鹽噪聲，降低噪聲對(duì)梯度的影響，提高魯棒性；

（3）選擇計(jì)算窗口，為了避免圖像成像畸變對(duì)計(jì)算的影響，本文并不進(jìn)行全圖像的梯度計(jì)算，而是在圖像中心窗口進(jìn)行計(jì)算。根據(jù)上述自動(dòng)變焦的結(jié)果，目標(biāo)在視場(chǎng)內(nèi)的范圍約為0.5，考慮到目標(biāo)不一定在圖像中心位置，因此選擇0.8（w）×0.8（h）的窗口來(lái)進(jìn)行梯度計(jì)算（w和h分別為圖像的寬 和高）。

2.3 自動(dòng)聚焦策略

自動(dòng)聚焦過(guò)程即是求取變化過(guò)程中圖像梯度最大點(diǎn)的過(guò)程。通過(guò)折半查找策略，獲取梯度最大點(diǎn)。聚焦調(diào)節(jié)過(guò)程如圖2所示。

圖2 聚焦調(diào)節(jié)過(guò)程示意圖

其過(guò)程如下：

（1）計(jì)算當(dāng)前窗口梯度數(shù)值；

（2）按照步長(zhǎng)L1調(diào)節(jié)聚焦，重新計(jì)算窗口梯度數(shù)值；

（3）如果梯度增加，則繼續(xù)調(diào)節(jié)焦距，直至梯度減??；

（4）若梯度減小，步長(zhǎng)減半，反向調(diào)節(jié)焦距，直至梯度增加；

（5）反復(fù)迭代，直至步長(zhǎng)小于閾值。

3 試 驗(yàn)

針對(duì)飛機(jī)目標(biāo)進(jìn)行自動(dòng)變焦試驗(yàn)。當(dāng)目標(biāo)在視場(chǎng)中較小時(shí)，提示增大焦距，放大目標(biāo)在視場(chǎng)中的占屏比。如圖3所示。

圖3 檢測(cè)目標(biāo)較小時(shí)提示增加焦距

目標(biāo)在視場(chǎng)中較大時(shí)，提示減小焦距，縮小目標(biāo)在視場(chǎng)中的占屏比。如圖4所示。

圖4 檢測(cè)目標(biāo)較大時(shí)提示減小焦距

目標(biāo)占屏比適中時(shí)，提示占屏比合適。如圖5所示。

圖5 檢測(cè)目標(biāo)占屏比合適

對(duì)圖像進(jìn)行自動(dòng)聚焦試驗(yàn)，結(jié)果如圖6和圖7所示。從兩組圖可以看到，圖像邊緣逐漸清晰，符合人的視覺(jué)觀察情況。

圖6 自動(dòng)聚焦試驗(yàn)1

圖7 自動(dòng)聚焦試驗(yàn)2

4 結(jié) 語(yǔ)

本文針對(duì)工程中目標(biāo)焦距不易調(diào)節(jié)和圖像不清晰等問(wèn)題，使用深度學(xué)習(xí)和梯度算子相結(jié)合的方法，實(shí)現(xiàn)了焦距自動(dòng)調(diào)節(jié)和自動(dòng)聚焦。通過(guò)試驗(yàn)結(jié)果可以看出，焦距自動(dòng)調(diào)節(jié)后，目標(biāo)比例合適，符合人的視覺(jué)觀察；圖像清晰，細(xì)節(jié)準(zhǔn)確，可直接用于工 程實(shí)踐。