基于視場分割的仿生復(fù)眼系統(tǒng)設(shè)計方法

劉 貝,何博俠

(南京理工大學(xué)機械工程學(xué)院，江蘇 南京 210094)

0 引言

大視場成像系統(tǒng)在智能監(jiān)控[1]、導(dǎo)航定位[2-3]以及國防軍事[4-5]等領(lǐng)域具有廣闊的應(yīng)用前景。如智能監(jiān)控系統(tǒng)需要檢測并識別行人和車輛[6]；無人駕駛汽車可以通過全景圖像來進行導(dǎo)航定位[7]；無人機需要大范圍內(nèi)搜尋并跟蹤運動[8-9]。目前，傳統(tǒng)的大視場成像方法主要有圓柱投影法[10]、魚眼透鏡[11]、旋轉(zhuǎn)拼接法[12]和折反射成像系統(tǒng)[13]等。魚眼透鏡和折反射系統(tǒng)通常采用單一的低分辨率、大畸變的圖像傳感器，因此，所成圖像分辨率低且具有相當大的畸變；旋轉(zhuǎn)拼接成像系統(tǒng)成像耗時長且只能采集靜物，具有低效率和實時性差的缺點。

昆蟲復(fù)眼因其結(jié)構(gòu)緊湊、視場大和高分辨率等優(yōu)點被廣泛關(guān)注，目前復(fù)眼系統(tǒng)主要有基于微透鏡陣列[14-15]和基于相機陣列2種形式。傳統(tǒng)微透鏡復(fù)眼由于微透鏡結(jié)構(gòu)的特殊性存在著加工困難、分辨率低的缺點，不具有工業(yè)實用性。隨著相機的高分辨率、寬動態(tài)和集成化發(fā)展，采用相機陣列實現(xiàn)復(fù)眼成為一種更加可行的選擇。傳統(tǒng)多相機仿生復(fù)眼設(shè)計中常將相機視角簡化為圓形，需要對相機原始視場進行切割，無疑會降低相機利用效率。因此，本文提出一種直接采用相機原始矩形視場進行視場分割的設(shè)計方法，首先分析單個“子眼”相機視場與總視場的關(guān)系，然后利用矩形視場水平、垂直方向的視場角對預(yù)定半球視場進行緯度層和經(jīng)度層的分割，確定各相機在半球體上的位置和方向。這種設(shè)計方法大大提高了相機的利用率且降低了系統(tǒng)的復(fù)雜度，為后續(xù)全景圖像拼接提供了便利。

1 基于視場分割的復(fù)眼系統(tǒng)設(shè)計理論

設(shè)計的多相機曲面仿生復(fù)眼如圖1所示。該系統(tǒng)由1個半徑為R的半球和位于球面上的若干個完全相同的相機組成。球殼起支撐作用，每個相機負責(zé)特定的視場空間，且所有相機的光軸均經(jīng)過球殼的球心。由于相機排布在半球體上，所以可以通過建立球坐標系來確定相機的位置。如圖2所示，空間中任一點P的坐標均可表示為(R,φ,θ),其中R為球殼的半徑，φ為向量OP與Z軸正方向所成的夾角，稱為仰角，θ為向量OP在XY平面的投影與X軸正方向所成夾角，稱為方位角。

圖1 仿生復(fù)眼系統(tǒng)

圖2 球坐標系

球坐標系(R,φ,θ)與直角坐標系(x,y,z)的轉(zhuǎn)換關(guān)系為

(1)

本文采用單個相機的物平面來進行預(yù)定視場分割，因此，首先需要對單個相機的物平面進行分析。如圖3所示，可以用一個假想的四棱錐來表示相機的視場，且像平面一定與該四棱錐底面平行，若存在一個經(jīng)過光軸且與相機像平面平行的物平面，則此物平面也一定為矩形。

圖3 像平面與物平面的關(guān)系

此矩形的長L和寬W與物距D的關(guān)系為

(2)

在復(fù)眼系統(tǒng)中各相機的光心與球心并不重合，因此，在視場分割時必須將其水平視角與垂直視角進行等效轉(zhuǎn)換。如圖4所示，在成像距離為D，物平面長寬分別為L、W時，記相機等效水平視場角為α′、等效垂直視場角為β′，可得

圖4 相機等效視場角示意

(3)

1.1 相機分層規(guī)則

以單個“子眼”相機的物平面代替相機的視場范圍，并以此為基本單位，對預(yù)定視場進行無縫分割，主要有以下2個步驟：

a．根據(jù)求得的等效垂直視場角β′，從緯度方向?qū)㈩A(yù)定視場ψ=π劃分為若干層，如圖5所示，則可將虛擬視場垂直分割為N層，即

圖5 緯度劃分示意

(4)

ceil表示向上取整；+0.5表示當各層視場重疊部分較少時增加1層相機，從而達到增加各層視場重疊部分的效果。層數(shù)N由上至下，逐層增加。復(fù)眼的第1層只需要1個相機，且位于同一層的所有相機的坐標值φ相同，因此，第n(1≤n≤N)層所有相機的φ坐標值為

(5)

b．當每層相機的φ坐標值確定后，進而確定各個相機的θ坐標值，即可確定各個相機的位置。由于相機在每個緯度層上均勻分布，因此，第n緯度層相機的個數(shù)為

(6)

(7)

因此，第n層上的第m個相機的θ坐標值為

(8)

εn為同一層相鄰2個相機之間的θ坐標差值，即

(9)

通過上述步驟，即可確定實現(xiàn)對預(yù)定視場無縫分割需要的相機總數(shù)M，以及“子眼”相機的安裝位置和角度。

(10)

1.2 有效視場分析

根據(jù)上述設(shè)計規(guī)則，除了最頂層和最底層以外的任意緯度層的實際成像情況如圖6所示。其中，某個相機的實際成像范圍可看作1個等腰梯形。因為相機在同一緯度層上是均勻排布的，所以各相機的實際成像范圍是相等的，即所有等腰梯形都是相等的。定義實際成像梯形的高為hn，上底為tn，下底為bn，計算公式為

圖6 第n緯度層實際成像視場示意

(11)

則該緯度層物平面的有效面積Sn為

(12)

對于最頂層而言，它只包含1個相機，只有1個物平面，且該物平面在實際成像時與第2層的相機部分重疊，且與每個相機重疊的區(qū)域相等，則第1緯度層的實際成像物平面可等效為1個正多邊形，其邊數(shù)與第2層相機的個數(shù)M2相同，邊長等于第2層有效梯形區(qū)域的上底t2，故第1緯度層物平面的有效面積S1為

(13)

對于最下方的第N緯度層，不同于其他層的是，其中某一相機的有效成像物平面不與下一層相機重疊，則其實際成像物平面范圍可等效為1個等腰梯形外加1個矩形。其中梯形區(qū)域與上述緯度層相同；矩形區(qū)域的長等于等腰梯形的下底bn，矩形的寬為wn=hn。則第N緯度層的有效視場區(qū)域SN為

(14)

仿生復(fù)眼系統(tǒng)整體的有效視場區(qū)域S等于各緯度有效視場面積之和,即

(15)

同時，所有“子眼”相機的實際物平面面積之和S0為

S0=M×L×W

(16)

則可得整體系統(tǒng)的利用率，即有效視場占所有“子眼”相機物平面總面積的比例μ為

(17)

依照上述設(shè)計規(guī)則，設(shè)計一個水平視場為2π，垂直視角為π，球體半徑為r，最小全景成像距離為D的復(fù)眼系統(tǒng)。通過該系統(tǒng)來研究D/r，以及“子眼”相機水平視角α和垂直視角β對仿生復(fù)眼系統(tǒng)總相機數(shù)M以及視場有效率μ的影響。

由圖7、圖8和圖9可知，無論D/r為多少，隨著“子眼”相機水平視角α和垂直視角β的減少，所需相機總數(shù)M增加、視場有效率μ均呈下降趨勢。這是因為相機視角減小，對于已定視場需要分為更多層，導(dǎo)致所需相機總數(shù)M增加，同時，由于相機數(shù)增多，兩兩相機間又各有重疊區(qū)域，使得系統(tǒng)整體重疊區(qū)域增加，導(dǎo)致視場有效率μ降低。

圖7 D/r=5時M、μ與α、β的關(guān)系

圖8 D/r=10時M、μ與α、β的關(guān)系

圖9 D/r=20時M、μ與α、β的關(guān)系

另外，從圖中可以看出當D/r增大時，相機總數(shù)M隨之減小，而視場有效率μ隨之增大。通過這一實驗結(jié)果，可以選擇更大視場角的相機和合適的成像距離來提高相機的利用率，以及實現(xiàn)更大視場的仿生復(fù)眼系統(tǒng)。

2 系統(tǒng)實現(xiàn)及實驗驗證

基于上述仿生復(fù)眼設(shè)計規(guī)則，選用HBV-1610型號相機設(shè)計仿生復(fù)眼系統(tǒng)。其主要技術(shù)參數(shù)如下：傳感器型號為GT2005 COMS，其光學(xué)尺寸為1/5 inch，最大有效像素1 616×1 216 ，傳感器尺寸為2 849 μm×2 184 μm，單個像素尺寸為1.75 μm×1.75 μm；對角線視場角為60°，焦距為2.7 mm；相機物理尺寸為8.5 mm×8.5 mm×4.6 mm，原件區(qū)尺寸為17.2 mm×26.2 mm。

根據(jù)實際成像需求選取相機視場角χ≈60°，并根據(jù)實際相機尺寸，確定球殼尺寸R=4 cm，最小全景成像距離D=20 cm。經(jīng)過測量得該相機水平視角α≈47°，垂直視角β≈40°，實際采集的圖像分辨率為1 600×1 200像素。根據(jù)上述設(shè)計規(guī)則，可得所需相機總數(shù)M=24，將半球殼分為4層，從頂層至上而下各緯度層所需相機個數(shù)分別為1、6、8、9。將所有相機按照Cij進行編號，其中i表示第i緯度層，j表示該緯度第j個相機，則所有“子眼”相機的坐標確定如表1所示。

表1 復(fù)眼系統(tǒng)中各相機的坐標

為了驗證上述設(shè)計，制作了2層的仿生復(fù)眼系統(tǒng)進行實驗。球殼半徑R=4 cm，整體體積較小，采用3D打印技術(shù)進行制作。

圖10為該仿生復(fù)眼系統(tǒng)最終實物圖，硬件電路的核心為HBV-DSP1610AF，負責(zé)圖像的采集和傳輸。圖11為該仿生復(fù)眼系統(tǒng)采集的全景圖像，該圖像由7張子眼圖像拼接而成，且內(nèi)部不存在空白，驗證了該設(shè)計方案的可行性。依照該設(shè)計規(guī)則制作的復(fù)眼初步實現(xiàn)了大視場全景成像。根據(jù)理論分析可得，該復(fù)眼系統(tǒng)無縫成像視角約為79.5°，成像像素大小為1 200萬像素。

圖10 仿生復(fù)眼實物

圖11 復(fù)眼系統(tǒng)所成全景圖

3 結(jié)束語

本文提出了一種基于視場分割的多相機陣列仿生復(fù)眼系統(tǒng)設(shè)計方法，該方法通過直接采用相機原始矩形視場對預(yù)定視場進行分割，避免了傳統(tǒng)復(fù)眼設(shè)計中將相機視場簡化為圓形使得相機利用率降低的問題。

該方法首先根據(jù)相機的視場角計算與圖像傳感器靶標平面平行的矩形物平面大小。然后分析了“子眼”視場和總視場的關(guān)系，提出了一種基于矩形物平面的視場分割規(guī)則，確定了對預(yù)定視場進行完整分割所需的相機個數(shù)，以及其安裝位置和角度。同時還分析了水平視場角、垂直視場角對相機數(shù)目和相機利用率的影響。最后根據(jù)上述相機排布規(guī)則設(shè)計了2層的仿生復(fù)眼系統(tǒng)，該系統(tǒng)由7個“子眼”相機在球面上按照固定規(guī)則排列而成，每個子眼指向不同的視場空間，整體實現(xiàn)了79.5°無縫成像，驗證了該設(shè)計方法的有效性。

本設(shè)計方法采用了分層思想，會導(dǎo)致不同層相機的重疊度不同，導(dǎo)致整體重疊度變大。在今后的研究中，可以提出一種相機排列方式使得所有相機重疊度相同，提高相機利用率，降低系統(tǒng)復(fù)雜度，進一步提高復(fù)眼系統(tǒng)的實用性。