緊湊折反式仿生復(fù)眼及圖像快速拼接識(shí)別算法

曹昭睿， 郝永平， 劉萬成， 白帆， 孫顥洋， 張慧， 李宇海

(1.沈陽理工大學(xué) 裝備工程學(xué)院, 遼寧 沈陽 110159; 2.光電信息控制和安全技術(shù)重點(diǎn)實(shí)驗(yàn)室, 天津 300308;3.沈陽理工大學(xué) 機(jī)械工程學(xué)院, 遼寧 沈陽 110159)

0 引言

隨著機(jī)器視覺技術(shù)與人工智能技術(shù)的不斷發(fā)展，新一代智能武器系統(tǒng)對(duì)廣域成像與快速探測的需求日趨增多。目前，常規(guī)視覺成像系統(tǒng)均為單鏡組- 單光電探測器構(gòu)型，受到光學(xué)成像關(guān)系制約，這類單孔徑成像系統(tǒng)為實(shí)現(xiàn)大視場探測能力，只能以犧牲探測距離和擴(kuò)大系統(tǒng)口徑作為代價(jià)。但若想在擴(kuò)大探測視域的前提下進(jìn)一步實(shí)現(xiàn)系統(tǒng)小型化，這種構(gòu)型則已經(jīng)到達(dá)了優(yōu)化極限。故對(duì)于無人機(jī)、導(dǎo)彈、智能彈藥等平臺(tái)而言，傳統(tǒng)單孔徑成像設(shè)備難以兼顧其對(duì)體積小、視場大、探測距離遠(yuǎn)的成像需求，無法從根本上提升上述武器的視覺感知能力。

為了能夠還原真實(shí)環(huán)境中的高分辨率大視場圖像信息，研究人員將技術(shù)較為成熟的獨(dú)立相機(jī)組作為每個(gè)子眼通道構(gòu)型，采用多通道相機(jī)組陣列的方式構(gòu)建一種新型仿生復(fù)眼。文獻(xiàn)[5]研究了一種3×3多相機(jī)陣列的仿生復(fù)眼及其圖像拼接技術(shù)，在完成復(fù)眼探測器設(shè)計(jì)后，基于尺度不變特征變換(SIFT)與隨機(jī)抽樣一致性(RANSAC)算法，實(shí)現(xiàn)整體場景的無盲區(qū)拼接，能夠滿足輕型武器系統(tǒng)的視覺探測需求；文獻(xiàn)[6]以柔性線路板(FPC)和現(xiàn)場可編程門陣列(FPGA)作為硬件基礎(chǔ)，設(shè)計(jì)了19眼曲面陣列成型仿生復(fù)眼系統(tǒng)，其整體重量約為1 kg，能夠在180°×120°的大視場內(nèi)采集并拼接多路圖像，具有較強(qiáng)的實(shí)用性。由于多相機(jī)陣列復(fù)眼的特殊成像結(jié)構(gòu)，需要利用圖像拼接算法將各通道所采集的圖像還原成全局環(huán)境圖像，以便后續(xù)觀測和識(shí)別計(jì)算。故在該類型復(fù)眼基礎(chǔ)上，文獻(xiàn)[7]采用多相機(jī)球面陣列的方式，設(shè)計(jì)了一種全景立體成像復(fù)眼系統(tǒng)，并利用加速魯棒特征(SURF)對(duì)多通道圖像進(jìn)行配準(zhǔn)，實(shí)現(xiàn)多角度圖像的同一視平面映射于全景圖像重構(gòu)；文獻(xiàn)[8]在SIFT算子基礎(chǔ)上，通過采用歐氏距離法和隨機(jī)抽樣一致性算法對(duì)特征點(diǎn)對(duì)進(jìn)行篩選，配合加權(quán)平均法融合圖像，完成了九目式復(fù)眼的圖像拼接與目標(biāo)定位；文獻(xiàn)[9]以FPGA為處理核心，利用Harris角點(diǎn)檢測算法進(jìn)行圖像配準(zhǔn)，重建出復(fù)眼系統(tǒng)的全局高分辨率圖像。

多相機(jī)陣列型復(fù)眼在成像清晰度與大視場探測能力上有良好表現(xiàn)，但其所攜帶的成像設(shè)備較多，其質(zhì)量、體積與所產(chǎn)生的圖像數(shù)據(jù)計(jì)算量較大。對(duì)于小型無人機(jī)、低速彈箭、智能彈藥等載荷空間與計(jì)算能力受限的武器平臺(tái)而言，多相機(jī)陣列復(fù)眼無法滿足上述平臺(tái)對(duì)探測系統(tǒng)體積小、質(zhì)量輕、易搭載的需求。同時(shí)，傳統(tǒng)基于單像素匹配與對(duì)準(zhǔn)的圖像拼接算法雖然能夠較精準(zhǔn)地對(duì)多視角圖像進(jìn)行拼合，但這些方法的圖像計(jì)算量較大且計(jì)算耗時(shí)較長，在配合多相機(jī)陣列型復(fù)眼進(jìn)行探測時(shí)，該類型拼接算法的開銷將倍增，無法滿足有實(shí)時(shí)探測需求的任務(wù)。因此，為了能夠提升仿生復(fù)眼探測系統(tǒng)的泛用性，必須對(duì)其光學(xué)結(jié)構(gòu)與圖像處理算法進(jìn)行優(yōu)化設(shè)計(jì)，在確保廣域清晰成像的前提下，實(shí)現(xiàn)復(fù)眼系統(tǒng)的緊湊化與圖像拼接算法的高效化。

針對(duì)當(dāng)前多相機(jī)陣列復(fù)眼在光學(xué)結(jié)構(gòu)與算法開銷方面存在的問題，為滿足陸行、飛行小型無人機(jī)與低速視覺制導(dǎo)彈箭對(duì)緊湊型大視場視覺探測器的需求，本文開展了折疊反射式(以下簡稱折反式)仿生復(fù)眼的成像原理研究，并依托該光學(xué)結(jié)構(gòu)設(shè)計(jì)了一種基于區(qū)域結(jié)構(gòu)相似性的圖像快速拼接算法。本文的主要工作與創(chuàng)新點(diǎn)為：1)開展了多視角光學(xué)系統(tǒng)的并行分區(qū)成像研究，通過光信道折疊反射實(shí)現(xiàn)多像面歸一，解決復(fù)眼系統(tǒng)對(duì)多光電探測器的依賴，降低了復(fù)眼成像系統(tǒng)的體積、成本與圖像數(shù)據(jù)生成量；2)提出一種基于區(qū)域結(jié)構(gòu)相似性的折反式復(fù)眼圖像快速拼接算法，在低尺寸特征圖上進(jìn)行遞進(jìn)快速拼合，完成相鄰子眼重疊視域內(nèi)的重復(fù)成像信息過濾；3)利用折反式復(fù)眼模擬樣機(jī)成像系統(tǒng)，配合目標(biāo)識(shí)別卷積神經(jīng)網(wǎng)絡(luò)，驗(yàn)證折反式復(fù)眼的圖像快速拼接與目標(biāo)識(shí)別能力?；谏鲜鰞?nèi)容，所提出的折反式仿生復(fù)眼成像構(gòu)型具有結(jié)構(gòu)緊湊、探測視域廣的特點(diǎn)，配合所設(shè)計(jì)的多通道圖像拼合與目標(biāo)識(shí)別網(wǎng)絡(luò)，可實(shí)現(xiàn)大視場下全局圖像快速重構(gòu)與目標(biāo)實(shí)時(shí)精確識(shí)別，滿足了仿生復(fù)眼系統(tǒng)的輕量化、低成本化、高效化與智能化設(shè)計(jì)需求。

1 折反式復(fù)眼成像光學(xué)系統(tǒng)

1.1 多角度復(fù)合光路折反成像原理

三目式光路折反成像結(jié)構(gòu)如圖1所示。折反式復(fù)眼同一成像層級(jí)由相鄰?fù)ǖ老轮鞴廨S互相垂直、且位于同一平面的3個(gè)子眼鏡組以及1個(gè)光電探測器構(gòu)成。位于層級(jí)中心、光路垂直于光電探測器靶面且不需光路折反的為中心子眼；位于層級(jí)兩端、需要進(jìn)行光路折反的為左、右邊緣子眼。各子眼系統(tǒng)在光學(xué)結(jié)構(gòu)上相同，且等效光程保持一致。經(jīng)過光路折反后，同一層級(jí)下的3個(gè)子眼像平面將與光電探測器靶面重合?？紤]到復(fù)眼內(nèi)部構(gòu)件的易安裝性、抗振動(dòng)與過載能力，折反式復(fù)眼利用換向棱鏡實(shí)現(xiàn)邊緣子眼的光路反射與折疊。換向棱鏡的一端將與光電探測器靶面進(jìn)行耦合，另一端用于接收對(duì)應(yīng)子眼通道的光信號(hào)。成像時(shí)同層級(jí)子眼將光電探測器靶面進(jìn)行三等分分區(qū)，并同步對(duì)所對(duì)應(yīng)的成像分區(qū)進(jìn)行映射。對(duì)于多維度成像與探測需求，可對(duì)折反式復(fù)眼的成像層級(jí)進(jìn)行擴(kuò)充，構(gòu)建多層級(jí)成像結(jié)構(gòu)。由于各層級(jí)間光學(xué)結(jié)構(gòu)與成像原理相同，且單層級(jí)結(jié)構(gòu)能夠滿足本文面向的使用環(huán)境需求，故本文僅對(duì)單層級(jí)緊湊型折反式仿生復(fù)眼成像系統(tǒng)進(jìn)行研究。圖1中為子眼半視場角，為相鄰子眼主光軸夾角，為換向棱鏡與光電探測器靶面間距。

圖1 三目式光路折反成像結(jié)構(gòu)Fig.1 Trinocular catadioptric imaging structure

1.2 子眼像面歸一與折反光路陣列

同層級(jí)內(nèi)中心子眼與邊緣子眼將對(duì)同一個(gè)光電探測器靶面進(jìn)行分區(qū)成像，該過程中邊緣子眼在利用換向棱鏡進(jìn)行光路折反時(shí)，需保證經(jīng)棱鏡折反后的像面與中心子眼像面共面，并與光電探測器靶面的對(duì)應(yīng)區(qū)域重合。為避免同層級(jí)多路子眼同步映射時(shí)產(chǎn)生光路干涉，需要依照不同子眼所在位置與探測區(qū)域，對(duì)光電探測器靶面進(jìn)行區(qū)域劃分，使對(duì)應(yīng)的子眼僅在該區(qū)域內(nèi)成像。為最大化單光電探測器靶面利用率，同層級(jí)各子眼對(duì)應(yīng)光電探測器的靶面分區(qū)方式如圖2所示。圖2中，、分別為光電探測器靶面寬與高。

圖2 各通道對(duì)光電探測器靶面分區(qū)Fig.2 Segmentation of the photodetector’s area

為保持經(jīng)換向棱鏡偏折光路后的邊緣子眼像面完整，且不損失邊緣視場的成像信息，棱鏡尺寸與光電探測器靶面尺寸滿足以下關(guān)系：

(1)

式中：、分別為換向棱鏡高與直角邊長。由于中心子眼與左、右邊緣子眼在光學(xué)結(jié)構(gòu)上一致，為使中心子眼與左、右邊緣子眼像面能夠重合，中心子眼的后工作距離需要具有足夠的空間，以使同結(jié)構(gòu)的邊緣子眼能夠容納換向棱鏡進(jìn)行光路折反，則子眼的光學(xué)結(jié)構(gòu)存在以下約束：

(2)

式中：為子眼系統(tǒng)工作距離；為有效焦距。為防止復(fù)眼出現(xiàn)視角盲區(qū)，相鄰子眼間需要具有一定的視域重疊。同時(shí)為確保系統(tǒng)整體光學(xué)性能的提升，視域重疊區(qū)域不能過大，則子眼全視場角2與相鄰子眼主光軸夾角間應(yīng)滿足：

<2≤2

(3)

對(duì)于不同的探測環(huán)境，折反式復(fù)眼的光電探測器成像性能需要結(jié)合不同任務(wù)需求進(jìn)行調(diào)整。復(fù)眼成像系統(tǒng)截止頻率與光電探測器像元尺寸間關(guān)系表示為

=1 0002

(4)

考慮到小型無人設(shè)備在機(jī)器視覺探測任務(wù)中的需求與限制，根據(jù)光學(xué)系統(tǒng)設(shè)計(jì)原理與上述折反式復(fù)眼成像幾何關(guān)系，解得如表1所示的單通道子眼光學(xué)設(shè)計(jì)參數(shù)與約束條件。

表1 單通道子眼光學(xué)設(shè)計(jì)參數(shù)與約束條件

表1將作為折反式復(fù)眼中子眼光學(xué)系統(tǒng)的初始設(shè)計(jì)條件與性能驗(yàn)證指標(biāo)，以Zebase光學(xué)模型庫中廣角光學(xué)成像系統(tǒng)作為基礎(chǔ)構(gòu)型，利用ZEMAX軟件對(duì)中心子眼與邊緣子眼進(jìn)行光學(xué)設(shè)計(jì)與優(yōu)化。建立中心子眼與邊緣子眼的光學(xué)成像模型后，本文將對(duì)同層級(jí)下各子眼的陣列位置進(jìn)行確定，實(shí)現(xiàn)復(fù)眼系統(tǒng)整體光學(xué)結(jié)構(gòu)的緊湊化與大視場化。對(duì)各子眼通道建立光學(xué)等效模型，得到如圖3所示的同層級(jí)中心子眼與邊緣子眼布局關(guān)系。

圖3 中心子眼與邊緣子眼布局關(guān)系Fig.3 Layout structure of the central and border sub-eyes

建立以中心子眼和邊緣子眼主光軸構(gòu)成的復(fù)眼陣列空間坐標(biāo)系，其原點(diǎn)為各通道主光軸交點(diǎn)。中心子眼等效模型中心距點(diǎn)的陣列距離為，邊緣子眼等效模型中心距棱鏡入射面的陣列距離為。對(duì)于縱向主光軸單側(cè)的布局關(guān)系，邊緣子眼等效模型中心距點(diǎn)的陣列距離為

=+2

(5)

折反式復(fù)眼視域盲區(qū)存在最遠(yuǎn)盲點(diǎn)，該點(diǎn)位于相鄰?fù)ǖ赖囊曈蜻吘壗稽c(diǎn)處。根據(jù)圖3中所示的幾何關(guān)系，最遠(yuǎn)盲點(diǎn)在復(fù)眼陣列空間坐標(biāo)系中位置(，)可表示為

(6)

經(jīng)整理，緊湊型折反式仿生復(fù)眼最遠(yuǎn)盲點(diǎn)位置為

(7)

根據(jù)不同探測任務(wù)中成像視場角、探測距離、識(shí)別目標(biāo)尺寸、物方分辨率等成像需求，同時(shí)結(jié)合搭載平臺(tái)對(duì)復(fù)眼系統(tǒng)質(zhì)量、體積、功耗等約束條件，即可確定該環(huán)境下折反式復(fù)眼系統(tǒng)的子眼光學(xué)結(jié)構(gòu)與各通道空間陣列方式，完成折反式復(fù)眼的光學(xué)成像模型構(gòu)建。

2 折反式復(fù)眼圖像快速拼接與目標(biāo)識(shí)別網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)原理與結(jié)構(gòu)

傳統(tǒng)復(fù)眼中各子眼主光軸不共面，需要進(jìn)行像素級(jí)的多維度圖像匹配拼接，這一過程將產(chǎn)生大量的計(jì)算開銷，嚴(yán)重影響了復(fù)眼探測器的圖像實(shí)時(shí)反饋能力。故本文針對(duì)這一問題，基于所提出的單層級(jí)折反式仿生復(fù)眼成像系統(tǒng)，提出一種利用區(qū)域結(jié)構(gòu)相似性的快速圖像拼接算法，同時(shí)配合含有殘差層的深度卷積神經(jīng)網(wǎng)絡(luò)，以實(shí)現(xiàn)全局圖像的快速拼接與目標(biāo)精確識(shí)別。折反式仿生復(fù)眼圖像拼接與目標(biāo)識(shí)別網(wǎng)絡(luò)(CMRNN)結(jié)構(gòu)如圖4所示。

圖4 CMRNN結(jié)構(gòu)示意Fig.4 Network structure of CMRNN

2.2 基于區(qū)域結(jié)構(gòu)相似性的特征圖快速拼接算法

由于折反式復(fù)眼的特殊成像結(jié)構(gòu)，各子眼主光軸已共面，故圖像拼接時(shí)只需進(jìn)行單方向匹配，降低了拼合時(shí)數(shù)字圖像矩陣計(jì)算維度。本文在折反式復(fù)眼的光學(xué)成像結(jié)構(gòu)基礎(chǔ)上，設(shè)計(jì)了一種基于區(qū)域結(jié)構(gòu)相似性的特征圖快速拼接算法，其核心結(jié)構(gòu)如圖5所示。

圖5 IPP結(jié)構(gòu)示意Fig.5 IPP structure

在同一時(shí)刻下，折反式復(fù)眼系統(tǒng)將通過左側(cè)邊緣子眼、中心子眼和右側(cè)邊緣子眼，分別采集對(duì)應(yīng)探測域內(nèi)的原始圖像、、。相鄰子眼下的原始圖像將同步輸入至IPP中進(jìn)行重編碼，提取原始圖像中的關(guān)鍵像素信息并降低圖像尺寸，減少后續(xù)拼接過程的數(shù)據(jù)計(jì)算量。

折反式復(fù)眼各子眼均會(huì)生成尺寸為×的原始圖像，在面對(duì)不同的探測任務(wù)時(shí)，折反式復(fù)眼中子眼光學(xué)結(jié)構(gòu)與鏡組參數(shù)需要進(jìn)行調(diào)整，導(dǎo)致各通道成像尺寸與光電探測器靶面尺寸不固定，即單通道采集的原始圖像尺寸×為變量。由于拼合過程中需保證每個(gè)待拼接特征圖的尺寸一致，為了使IPP能夠適配不同光學(xué)結(jié)構(gòu)的子眼，本文將利用自適應(yīng)池化層首先對(duì)任意×尺寸的原始成像進(jìn)行整形，統(tǒng)一輸出尺寸為×的特征圖，自適應(yīng)池化層各項(xiàng)參數(shù)計(jì)算方法如下：

(Kh,Kw)=(hin,win)(Sh,Sw)=(hin,win)(Ph,Pw)=Khn-hi+12,Kwn-wi+12

(8)

式中：、分別為自適應(yīng)池化核高與寬；、分別為單通道輸入原始圖像的高與寬；、分別為自適應(yīng)池化核在與方向上的移動(dòng)步長；、分別為原始圖像在與方向上的填充長度。則在確定的尺寸后，經(jīng)自適應(yīng)池化整形的輸出圖像高與寬分別為

(9)

本文將自適應(yīng)池化輸出尺寸設(shè)定為416，則經(jīng)上述計(jì)算后，任意尺寸的單通道輸入圖像將均被整形為416×416的尺寸。原始圖像經(jīng)自適應(yīng)池化層整形后，將繼續(xù)經(jīng)過圖5中連續(xù)的最大池化與平均池化操作，進(jìn)一步縮減圖像尺寸并凝練特征。該過程中將依次輸出、、、4張尺寸不同的特征圖，相鄰?fù)ǖ老峦叽绲奶卣鲌D將進(jìn)行區(qū)域結(jié)構(gòu)相似性對(duì)比，以確定該尺寸下相鄰?fù)ǖ捞卣鲌D的拼接邊界坐標(biāo)。根據(jù)不同尺寸特征圖下所采用的拼接策略，IPP的拼接過程可分為尺度的拼接定位、(=1,2,3)尺度的拼接定位與原始圖像拼合。

IPP首先進(jìn)行如圖6所示尺度下的圖像拼接定位。當(dāng)原始圖像經(jīng)過多次連續(xù)池化后，IPP網(wǎng)絡(luò)將首先對(duì)尺度最小的特征圖沿方向進(jìn)行區(qū)域切片，切片數(shù)量與特征圖尺寸保持一致。同時(shí)，IPP網(wǎng)絡(luò)將生成一個(gè)高度與特征圖高度相同、初始寬度為1、擴(kuò)展步長為1的特征提取框，特征提取框?qū)⒉粩嘟厝√卣鲌D上的區(qū)域切片信息。特征提取框由滑動(dòng)端和固定端構(gòu)成，其中尺度下的固定端將錨定于特征圖待拼接一側(cè)，滑動(dòng)端的初始長度為1，并在每一次提取切片信息后按照擴(kuò)展步長進(jìn)行放大，尺度下的特征提取框各參數(shù)約束條件與切片提取過程如(10)式和圖7所示：

=×,=+≤,=,
=1,=(,0)

(10)

式中：為特征提取框所截取的區(qū)域；為初始值為0、自增幅度為1的整數(shù)；為尺度下特征圖尺寸；為尺度下特征提取框左上角頂點(diǎn)坐標(biāo)。

圖6 P0尺度下特征圖的結(jié)構(gòu)相似性拼接過程Fig.6 Structural similarity splice process of P0 scale

IPP將依照步長調(diào)整特征提取框的大小，使滑動(dòng)端延長，不斷截取相鄰?fù)ǖ纼?nèi)特征圖中尺寸相同的對(duì)應(yīng)區(qū)域，計(jì)算對(duì)應(yīng)間的馬氏距離并進(jìn)行對(duì)比，相鄰?fù)ǖ莱上竦拇唇犹卣鲄^(qū)域間馬氏距離()為

圖7 P0尺度下特征區(qū)域提取過程Fig.7 Feature extraction process of P0 scale

(11)

式中：、為相鄰?fù)ǖ老聝山M內(nèi)部矩陣化的圖像信息；為、的協(xié)方差矩陣。由圖6與(11)式可知：隨著滑動(dòng)邊的不斷變化，特征提取框左上角頂點(diǎn)的位置不斷靠近兩子眼的視場重疊區(qū)域邊界，所截取信息中的成像重疊區(qū)域與圖像相似性增大，相鄰?fù)ǖ老麻g的馬氏距離將不斷減?。划?dāng)滑動(dòng)邊超過視域重疊區(qū)域邊界時(shí)，特征提取框內(nèi)部的圖像信息將不斷出現(xiàn)非重復(fù)內(nèi)容，圖像相似性將逐漸減少，間的馬氏距離將開始增大，該過程如圖8所示。

圖8 馬氏距離與視域重疊區(qū)域變化趨勢Fig.8 The change trend of Mahalanobis distance and the overlapping area of FOV

圖9 Pi尺度特征圖的結(jié)構(gòu)相似性拼接過程及循環(huán)方式Fig.9 Structural similarity splicing process and cycle of Pi scale

(12)

=×,=±1≤,=,=-1,=(,0)

(13)

圖10 Pi尺度下特征區(qū)域提取過程Fig.10 Feature region extraction process of Pi scale

IPP網(wǎng)絡(luò)經(jīng)多次特征圖級(jí)拼合后，尺度獲得的拼接邊界定位點(diǎn)將向?qū)?yīng)通道下的原始圖像進(jìn)行映射，以獲得可用于原始圖像拼合的拼接邊界定位點(diǎn)。根據(jù)(8)式可知，原始圖像經(jīng)過自適應(yīng)池化層時(shí)進(jìn)行了圖像填充，故為還原真實(shí)圖像的視域重疊邊界，與的映射關(guān)系為

coi=(c3×wim3,0)

(14)

(15)

圖11 原始圖像下的圖像拼合過程Fig.11 Image mosaic process of original scale

經(jīng)過上述步驟后，IPP即可基于特征圖級(jí)下的區(qū)域結(jié)構(gòu)相似性，對(duì)多路圖像進(jìn)行快速拼接。對(duì)于目標(biāo)識(shí)別算法而言，因該構(gòu)型復(fù)眼的全局成像面積更大，所配合的目標(biāo)識(shí)別網(wǎng)絡(luò)需要具備一定的小目標(biāo)檢測能力。故在此基礎(chǔ)上，本文將以YOLOv3卷積神經(jīng)網(wǎng)絡(luò)作為目標(biāo)識(shí)別構(gòu)架，并在其基礎(chǔ)上進(jìn)行網(wǎng)絡(luò)輕量化處理，以驗(yàn)證緊湊折反式仿生復(fù)眼及圖像快速拼接識(shí)別算法在目標(biāo)探測任務(wù)中的可行性。至此，已完成針對(duì)折反式復(fù)眼的圖像快速拼接與目標(biāo)識(shí)別算法設(shè)計(jì)，使探測系統(tǒng)具有全局圖像快速重構(gòu)與目標(biāo)識(shí)別的能力。

3 實(shí)驗(yàn)結(jié)果

為驗(yàn)證折反式復(fù)眼的成像機(jī)理與探測能力，本文依照表1中光學(xué)設(shè)計(jì)約束，利用ZEMAX軟件進(jìn)行光學(xué)仿真，折反式復(fù)眼光學(xué)成像結(jié)構(gòu)模型、各通道成像質(zhì)量測試結(jié)果與光學(xué)性能指標(biāo)如圖12和表2所示。

圖12 折反式復(fù)眼光學(xué)成像結(jié)構(gòu)模型與各通道成像質(zhì)量測試結(jié)果Fig.12 Optical imaging structure model of the catadioptric compound eye and imaging quality results of each channel

表2 折反式復(fù)眼光學(xué)性能參數(shù)

通過圖12(a)與表2可知，折反式復(fù)眼已具備多角度大視場探測能力，通過光路折返與像面歸一的方式，提升了復(fù)眼內(nèi)部空間利用率并降低了光電探測器搭載數(shù)量，實(shí)現(xiàn)了仿生復(fù)眼成像系統(tǒng)的緊湊化設(shè)計(jì)。圖12(b)、圖12(c)中，中心子眼與邊緣子眼在156線/mm處的全視場最小MTF值均大于0.3且曲線平滑，具有良好的成像品質(zhì)；圖12(d)、圖12(e)中，艾里斑半徑為3.00 μm，各通道子眼在0°≤≤45°范圍內(nèi)均方根(RMS)半徑均小于艾里斑半徑，滿足折反式復(fù)眼的大視場清晰成像需求。部分子眼通道在45°<<70°視場范圍內(nèi)RMS半徑略大于艾里斑半徑，會(huì)產(chǎn)生一定的成像像差。但超出數(shù)值在允許畸變范圍內(nèi)，通過圖像矯正算法可以降低鏡組邊緣像差，且位于該視場范圍內(nèi)的成像信息將僅作為后續(xù)拼接算法的對(duì)比參考，故不影響仿生復(fù)眼系統(tǒng)的探測效率。利用操作數(shù)PMAG計(jì)算出子眼系統(tǒng)放大率為-0.000 23，對(duì)于位于30 m處兩個(gè)相距0.2 m的目標(biāo)，其在光電探測器靶面上的成像間距為46 μm。結(jié)合瑞利判據(jù)與圖12(d)、圖12(e)中各視場內(nèi)彌散斑尺寸可知，子眼鏡組的物方分辨率已達(dá)到0.2 m，可以滿足小型無人設(shè)備對(duì)車輛與人員目標(biāo)進(jìn)行清晰成像與分辨的需求。

完成折反式復(fù)眼成像性能驗(yàn)證后，以折反式復(fù)眼光學(xué)模型作為基礎(chǔ)，制備緊湊型折反式復(fù)眼模擬樣機(jī)成像平臺(tái)。該平臺(tái)內(nèi)部光路與成像原理與折反式復(fù)眼相同，成像鏡組與折反式復(fù)眼子眼等效，采用靶面為1/4″的CMOS作為光電探測器。對(duì)于運(yùn)動(dòng)狀態(tài)拍攝與使用條件惡劣的環(huán)境，搭載平臺(tái)晃動(dòng)導(dǎo)與探測器內(nèi)部振動(dòng)將分別導(dǎo)致成像拖影與內(nèi)部光學(xué)器件位移，進(jìn)而影響圖像拼接與成像質(zhì)量。針對(duì)這些問題，可采用復(fù)眼光學(xué)全部件耦合連接與更換高幀率相機(jī)作為手段，降低復(fù)眼系統(tǒng)內(nèi)部器件振動(dòng)位移并提高光電探測器單幀拍攝速度，以解決光路錯(cuò)位與光電探測器響應(yīng)速度不足產(chǎn)生的成像誤差。緊湊型折反式復(fù)眼模擬樣機(jī)成像平臺(tái)如圖13所示。

圖13 緊湊型折反式復(fù)眼模擬樣機(jī)成像平臺(tái)Fig.13 Imaging platform of the compact catadioptric compound eye

緊湊型折反式復(fù)眼模擬樣機(jī)成像平臺(tái)機(jī)械尺寸為60 mm×40 mm×38 mm、總質(zhì)量為230 g(不含圓盤底座)。在進(jìn)行基于緊湊型折反式復(fù)眼模擬樣機(jī)成像平臺(tái)的多路圖像采集拼合與目標(biāo)檢測前，需要對(duì)目標(biāo)識(shí)別網(wǎng)絡(luò)進(jìn)行訓(xùn)練。本文以VOC 2012中車輛與人的數(shù)據(jù)作為訓(xùn)練集，訓(xùn)練平臺(tái)為DELL Z840，CPU配置為Intel Xeon E5-2643 V3，主頻3.4 GHz，GPU為Quadro P5000，運(yùn)行內(nèi)存32 GB，計(jì)算環(huán)境為Ubuntu 18.04，算法編寫語言為Python，配合Tensorflow 2.0與Opencv 3.2作為輔助高級(jí)API。完成訓(xùn)練后，本文利用折反式復(fù)眼模擬平臺(tái)進(jìn)行真實(shí)環(huán)境下的多路圖像采集與快速拼接識(shí)別測試，測試結(jié)果如圖14所示。

圖14 折反式復(fù)眼實(shí)景探測結(jié)果Fig.14 Live scene detection results of the catadioptric compound eye

圖14(a)為復(fù)眼系統(tǒng)內(nèi)部光電探測器采集的未拼接原始圖像，其中陰影部分為視場交叉區(qū)域的成像重疊部分。折反式復(fù)眼通過子眼末端光闌與換向棱鏡，對(duì)各通道子眼的傳播光線進(jìn)行空間約束，使相鄰?fù)ǖ老氯胪c出瞳間均無光路干涉，避免了多光學(xué)系統(tǒng)- 單光電探測器分區(qū)成像時(shí)出現(xiàn)的光線串?dāng)_問題。經(jīng)CMRNN處理后，復(fù)眼快速拼接與目標(biāo)識(shí)別結(jié)果如圖14(b)所示。從上述測試結(jié)果可以看出，本文所設(shè)計(jì)的CMRNN能夠配合折反式復(fù)眼，將多通道圖像拼接成大視場全局圖像，并利用拼合結(jié)果對(duì)目標(biāo)進(jìn)行識(shí)別。由于折反式復(fù)眼各子眼主光軸方向不同，在立體視覺效應(yīng)與不同光照角度的影響下，全局拼接圖像將含有如圖14(b)中拼接線附近物體變形與相鄰?fù)ǖ莱上窳炼炔町惖纳倭空`差。由于上述誤差在CMRNN網(wǎng)絡(luò)的特征提取過程中將被過濾，故并不會(huì)影響全局圖像拼接與目標(biāo)識(shí)別效果，僅會(huì)在全局圖像觀測上表現(xiàn)出來。本文中折反式復(fù)眼光學(xué)結(jié)構(gòu)設(shè)計(jì)主要面向廣視域多通路圖像拼接與目標(biāo)識(shí)別任務(wù)，適用于近距離、目標(biāo)縱深梯度均衡的成像環(huán)境。對(duì)于遠(yuǎn)距離高質(zhì)量探測任務(wù)，可在本文提出的子眼光學(xué)系統(tǒng)上進(jìn)行進(jìn)一步優(yōu)化，采用高景深光學(xué)系統(tǒng)或非球面鏡組降低透視誤差，同時(shí)配合圖對(duì)比度自適應(yīng)調(diào)整、風(fēng)格遷移生成對(duì)抗網(wǎng)絡(luò)等算法，對(duì)各通道亮度、對(duì)比度、色度等成像參數(shù)進(jìn)行歸一化處理，進(jìn)一步降低上述成像誤差。

除針對(duì)CMRNN進(jìn)行計(jì)算速度、識(shí)別精度等性能指標(biāo)的測試外，本文通過不斷調(diào)節(jié)待檢測目標(biāo)距離與位置，測試出CMRNN的真實(shí)探測能力。該實(shí)驗(yàn)測試結(jié)果如表3所示。

表3 CMRNN探測性能指標(biāo)

通過表3的測試結(jié)果可知，基于折反式復(fù)眼成像機(jī)理驗(yàn)證平臺(tái)下的CMRNN具有實(shí)時(shí)解算能力，其成像能力、識(shí)別能力、視場重疊率與理論計(jì)算值基本相同，可以對(duì)多通道圖像進(jìn)行快速拼接與全局目標(biāo)精確識(shí)別。

在此基礎(chǔ)上，本文對(duì)各類圖像拼接算法進(jìn)行了測試，以評(píng)判IPP算法的拼接速度與拼接精度。考慮到小型無人設(shè)備的搭載能力，圖像快速拼接測試將以英偉達(dá)公司的Jetson TX2微型圖像處理模塊作為驗(yàn)證平臺(tái)。拼接精度評(píng)判標(biāo)準(zhǔn)將參考文獻(xiàn)[16]中的圖像拼接信息率計(jì)算方法，通過計(jì)算拼接后全局圖像信息量、拼接后圖像尺寸、拼接圖像冗余信息量、原始環(huán)境圖像信息量等參數(shù)，判斷各算法的拼接精度。將本文參考文獻(xiàn)中涉及到的拼接算法與本文所設(shè)計(jì)的圖像拼接算法IPP移植到Jetson TX2后，其測試結(jié)果如表4所示。

表4 各圖像拼接算法測試結(jié)果

結(jié)合上述測試結(jié)果可知，本文所提出的拼接算法在保證了良好的拼接精度前提下具有更快的拼接速度。由于IPP采用了基于區(qū)域結(jié)構(gòu)相似性的判斷策略，僅在特征圖級(jí)進(jìn)行特征對(duì)比，故在完成特征圖向原始圖像拼合時(shí)存在一定的像素級(jí)信息丟失，導(dǎo)致該算法的拼接精度略低于其他基于像素級(jí)匹配的拼接算法，但總體精度仍滿足大視場觀察與后續(xù)檢測任務(wù)需求。若需進(jìn)一步提高拼接精度，可在確保拼接速度的前提下，降低滑動(dòng)邊的移動(dòng)步長(本次實(shí)驗(yàn)中步長為1)，使IPP算法拼接采樣細(xì)粒化。同時(shí)，IPP減少了基于像素級(jí)特征匹配算法的后續(xù)特征點(diǎn)篩選與過濾環(huán)節(jié)，有效地降低了計(jì)算開銷并提高了多通道圖像拼接速度。在得到CUDA、Tensorflow等圖像計(jì)算構(gòu)架的支持下，IPP能夠?qū)崿F(xiàn)多角度圖像的快速整合，對(duì)于算力有限的微型圖像平臺(tái)有良好的適用性，能夠配合折反式復(fù)眼成像系統(tǒng)進(jìn)行全局圖像的快速重構(gòu)。

同時(shí)，為驗(yàn)證基于特征圖級(jí)結(jié)構(gòu)相似性拼接策略面向背景信息重復(fù)率較高環(huán)境的圖像拼接能力，本文以森林、草地環(huán)境下的無人機(jī)航拍圖像作為測試樣本，進(jìn)行IPP網(wǎng)絡(luò)的快速拼接測試。測試過程中待拼接的左、右通道圖像將含有大量重復(fù)率較高、語義信息特征相近的信息，同時(shí)確保左、右通道待拼接區(qū)域面積及其切片分割序列一致，則IPP網(wǎng)絡(luò)對(duì)高信息重復(fù)率圖像拼接測試結(jié)果如圖15所示。

從圖15中結(jié)果可知，IPP網(wǎng)絡(luò)能夠有效地將高信息重復(fù)率圖像進(jìn)行正確拼接。其中相鄰拼接圖像內(nèi)對(duì)應(yīng)區(qū)域歸一化馬氏距離僅在語義信息完全一致的區(qū)域上獲得了全局最小值(0號(hào)切片分割序列區(qū)域)，其他非拼接區(qū)域內(nèi)歸一化馬氏距離均存在較大差異。由于IPP網(wǎng)絡(luò)采取了區(qū)域特征提取與結(jié)構(gòu)一致性對(duì)比，能夠?qū)臻g范圍內(nèi)像素間特征關(guān)系進(jìn)行提取，避免了單點(diǎn)匹配策略在高重復(fù)率圖像拼接上易出現(xiàn)的多拼接點(diǎn)候選的問題，證明了IPP網(wǎng)絡(luò)具有面向高信息重復(fù)率圖像的精確拼接能力。

圖15 高信息重復(fù)率圖像拼接測試Fig.15 Image splicing tests with high information repetition rate

綜上，本文通過光學(xué)仿真與實(shí)景計(jì)算測試的方式，驗(yàn)證了折反式仿生復(fù)眼的成像機(jī)理與基于區(qū)域結(jié)構(gòu)相似性的圖像拼接目標(biāo)識(shí)別網(wǎng)絡(luò)的可行性，證明了所提出的折反式復(fù)眼及其圖像拼合目標(biāo)識(shí)別算法具有大視場清晰成像、多通道圖像快速拼合與目標(biāo)精確實(shí)時(shí)識(shí)別的能力。

4 結(jié)論

本文提出了一種折反式仿生復(fù)眼成像原理及其圖像快速拼接識(shí)別算法，通過光路折反與多角度子眼像面歸一的方式，構(gòu)建多孔徑- 單探測器結(jié)構(gòu)的緊湊型大視場仿生復(fù)眼成像光學(xué)系統(tǒng)。利用基于區(qū)域結(jié)構(gòu)相似性對(duì)比的圖像拼接算法，對(duì)多角度子眼成像進(jìn)行特征圖級(jí)的快速拼合。配合深度卷積神經(jīng)網(wǎng)絡(luò)，對(duì)目標(biāo)進(jìn)行全局圖像下的識(shí)別與定位。實(shí)驗(yàn)結(jié)果表明，所提出的折反式復(fù)眼結(jié)構(gòu)緊湊、探測視域廣、成像清晰，配合所設(shè)計(jì)的圖像拼接與目標(biāo)識(shí)別算法，能夠?qū)崿F(xiàn)大視場成像下的目標(biāo)快速精確識(shí)別，可以為小型無人機(jī)、低速彈箭等載荷與算力受限的智能武器提供良好的視覺成像與探測支持。