用于圖像拼接的電視攝像光學(xué)系統(tǒng)

史光輝，楊 威

(中國科學(xué)院長春光學(xué)精密機(jī)機(jī)械與物理研究所，吉林長春130033)

1 引言

據(jù)來自2012年6月22日《參考消息》報道，美國已造出一部10億像素數(shù)碼相機(jī)樣機(jī)，體積約有床頭柜大小。這一成果為改善機(jī)場安全，軍事偵查乃至網(wǎng)絡(luò)體育報道提供了廣闊前景，該成果還被發(fā)表在《Nature》雜志上。這個光學(xué)系統(tǒng)包括一個焦距為6 cm的球形鏡頭，鏡頭的后部被一個擁有98個微型攝像頭的陣列包圍。2012年，該項目組成員在《Optical Engineering》和《Applied Optics》期刊上發(fā)表了相關(guān)文章［1-3］。

中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所早在1994年就將這一技術(shù)成功地應(yīng)用到實時多目標(biāo)彈道測量相機(jī)中，并于1996年獲得了國家發(fā)明專利［4］。本文將對其光學(xué)系統(tǒng)進(jìn)行介紹。此外本文還給出了一個最多可對20×20個圖像進(jìn)行拼接，像素為85億的光學(xué)系統(tǒng)。其f=457.9、f/8、視場為120°×104.8°。用3個這樣的光學(xué)系統(tǒng)還可以實現(xiàn)360°全景攝像。

電視攝像能將多臺相機(jī)拍攝的圖像拼接到一個屏幕上，如果多個圖像中的景物是互相銜接的，則就會得到一幅相當(dāng)于由一個攝像機(jī)拍攝得到的大視場圖像。但要用到多臺相機(jī)，結(jié)構(gòu)龐大，很不現(xiàn)實。因此需要研究出一個能給出多個相互銜接圖像的光學(xué)系統(tǒng)。

2 單心球透鏡

早在1944年，Tams Baker就設(shè)計出一個F/3.5、視場角為 120°的單心球透鏡，見圖 1［5］。球透鏡每個球面的圓心都在球心上。像面也是一個圓心在球心上的球面?？讖焦怅@被設(shè)在球心上。入瞳和出瞳、前主面和后主面相互重合。因此通過球心的任一條光線都可以作為光軸。由球心至像面的距離就是焦距，因為每個面都是以球心為圓心的同心面，所以除了場曲外，只產(chǎn)生球差和色差，把玻璃材料的選擇和球面之間的間隔作為變量，這兩種像差都能得到很好的校正。因此整個球形像面的像質(zhì)不僅相同而且可以設(shè)計得很好。Tams Blaker設(shè)計的球透鏡的分辨率達(dá)到了200 lp/mm。此外像面照度分布和視場角余弦的一次方成比例，而不是通常的四次方成比例。

圖1 Baker球透鏡Fig.1 Bakers Ball lens

20世紀(jì)80年代，美國Lawrence Livermore國家實驗室在大視場、實時跟蹤望遠(yuǎn)鏡中采用了單心球面透鏡［6］。在球透鏡的后面用了5臺商用攝像機(jī)，把接收到的信號輸入商用圖像處理器進(jìn)行處理。而不是用于圖像拼接，這可能是球透鏡的首次實際應(yīng)用。下一步是用23根3.8倍，一頭大一頭小的光纖陣列，讓23根光纖的大頭和球透鏡的球面像上的23個部位一一對應(yīng)互相接觸，信號由小頭輸出，以實現(xiàn)大視場搜索目標(biāo)。

3 彈道測量相機(jī)的光學(xué)系統(tǒng)

3.1 圖像拼接的方法

設(shè)計要求:相機(jī)的視場為23°×16°，焦距大于60 mm。在當(dāng)時，面陣CCD的面積還不夠大，一塊面陣CCD滿足不了要求，因此要用3×3塊面陣CCD進(jìn)行圖像拼接才能實現(xiàn)。利用單心球透鏡將無窮遠(yuǎn)的目標(biāo)在其焦點上成一圓心位在球透鏡球心上的球面像，再用圍繞球透鏡球的中繼物鏡陣列(文獻(xiàn)［1］將其稱為微相機(jī)陣列)中的每一路中繼物鏡將各自對應(yīng)的球面像中的一部分再成像在各自對應(yīng)的面陣CCD上，如圖2。這是一個經(jīng)過球心，沿高低方向的單心球透鏡和中繼物鏡陣列之間成像關(guān)系的光路圖(沿面陣CCD窄的方向為高低方向，寬的方向為水平方向)。圖中椎角A為兩個相鄰圖像沿高低方向光軸間的夾角，下圖為與9個中繼物鏡一一對應(yīng)的在球形像面上的9個物面?？梢?個物面在高低方向上的銜接點b和c及邊緣點a和d分別被3個中繼物鏡成像為a'b'、c'b'和d'c'而不會出現(xiàn)互相間的混淆?？梢赃@樣解釋，在中繼物鏡中，由孔徑光闌和視場光闌構(gòu)成的光管，只允許來自中繼物鏡本身對應(yīng)的物面的成像光束通過。其它的進(jìn)入中繼物鏡的光都是雜光，雜光不能直接射到像面上。這說明用中繼物鏡陣列可以將球面像等分成若干份后，再由各自對應(yīng)的中繼物鏡分別成可以互相銜接的像。

圖2 單心球透鏡和中繼物鏡陣列之間成像關(guān)系的光路圖。下圖為9個中繼物鏡分別對應(yīng)的在球透鏡像面上被劃分的9個物面Fig.2 Optical path diagram of imaging relation between the monocentric ball lens and the relay lens arrays.The down picture indicates 9 object plans of the 9 relay lenses on the images surfaces of the ball lens

光闌不能再設(shè)在球透鏡的球心上，或讓球心與設(shè)在中繼物鏡的光闌共軛，因為這樣會使中繼物鏡的體積過大，在椎角A空間內(nèi)容納不下;還會使圖像的照度和視場角的一次方成比例，致使視場邊緣的圖像照度降低。因此孔徑光闌一定要設(shè)在中繼物鏡上，這樣才能在被椎角A包圍的空間內(nèi)容納下。同時因與視場角的余弦無關(guān)，因此也避免了視場邊緣的圖像產(chǎn)生漸暈，使所有圖像的照度分布相同，缺點是球透鏡口徑增加了及球透鏡會產(chǎn)生軸外像差。

從圖中還可以看出，相鄰中繼物鏡之間有一定的距離，而且這個距離是可以按需要來設(shè)計的。這一點很重要，它可以使中繼物鏡陣列的結(jié)構(gòu)簡單和容易實現(xiàn)。文獻(xiàn)［1］中的圖3和本文圖2相似，但其中繼物鏡為分離的兩組，在相鄰兩路之間，被稱為Eyepiece的前組之間是相互接觸的.沒有間隙，這一差別導(dǎo)致兩者的中繼物鏡陣列有很大的不同。

3.2 中繼物鏡設(shè)計的考慮

在設(shè)計中繼物鏡時要對兩個參數(shù)進(jìn)行選擇，一是倍率，倍率決定了單心球透鏡的焦距和相對孔徑以及中繼物鏡的相等孔徑;二是物距，物距決定了中繼物鏡的共軛距。這兩個參數(shù)的選擇要考慮以下因素:(1)中繼物鏡能在圖2所示的椎角A包圍的空間放得下，并且彼此之間還要有一定的間隔;(2)為降低高級像差，特別是畸變和高級像散，要盡可能選擇中繼物鏡的孔徑光線和主光線的偏角以及像方的視場角盡量小;(3)盡量減小球透鏡產(chǎn)生的軸外像差，特別是高級像散和畸變;(4)盡量減小筒長和體積，這和前3個項是相矛盾的。設(shè)計時要盡可能在它們之間取最佳折中。設(shè)計實踐表明，中繼物鏡的倍率比較好的折中是絕對值應(yīng)小于1。在該系統(tǒng)中?。?.32倍，這是因為系統(tǒng)的相對孔徑和視場都比較大。即使這樣，中繼物鏡的相對孔徑仍為F/1.59。文獻(xiàn)［2］認(rèn)為該值應(yīng)為0.4～0.6(絕對值)。至于中繼物鏡的物距，取比較大的值時對前3項有利，但增加了筒長。因此要在倍率確定后進(jìn)行反復(fù)的選擇，使第4項因素和第1，第2和第3項因素之間達(dá)到較好地折中。如果不滿意，可再重新選取倍率，這樣反復(fù)進(jìn)行直到滿意為止。

在用電視圖像處理技術(shù)進(jìn)行圖像拼接時，為保證拼接質(zhì)量以及圖像間不出現(xiàn)空隙，兩幅圖像銜接處需要有少量的重疊。因為拼接是在高低、水平兩個方向進(jìn)行的，而中繼物鏡的視場是按面陣CCD的對角線設(shè)計的，沒有因此再增加視場。

3.3 設(shè)計結(jié)果

焦距 f=63.04、有效口徑(即入瞳直徑):30 mm、高 低 視 場 角:17.05°、水 平 視 場 角:28.37°。單個系統(tǒng)的高低視場角:5.72°、水平視場角:7.75°、對角線視場角:9.63°，波長為0.6～0.9 μm。結(jié)構(gòu)為在一正組后面加一無光焦度組，在靠近像面處放一負(fù)場鏡，以校正球透鏡和自身的場曲。這是從多種形式中選擇比較合適的一種，相鄰兩個光學(xué)系統(tǒng)的最前一面的距離為8 mm。

圖3 彈道測量相機(jī)光學(xué)系統(tǒng)Fig.3 Optical system of trajectory measurement camera

圖3(a)為光學(xué)結(jié)構(gòu)圖，光闌置于中繼物鏡前組上。因為要求光學(xué)系統(tǒng)給出的是一個覆蓋2×3個像元、直徑為0.045 mm的光斑。又因相機(jī)是用于彈道測量，因此要求畸變小于0.95 μm。為了保證光斑的圓度，應(yīng)校正好不對稱像差即彗差，彗差對畸變也有影響。從圖3(b)像差曲線得知，全視場范圍內(nèi)的像質(zhì)均勻且較好，幾乎看不出有彗差，沒有攔光，100%通光。從圖(c)可知，一個像元的外接圓尺寸為0.027 mm，對應(yīng)的包圍能量接近90%。所需的光斑直徑要靠大約0.05 mm的離焦得到，這樣做能保證質(zhì)量。從畸變曲線得知，最大畸變?yōu)?.019%發(fā)生在邊緣視場，對應(yīng)的幾何畸變?yōu)?.7 μm。因為對畸變要求高，因此對加工和裝調(diào)也提出嚴(yán)格和特殊的要求，而且最后還要用電視圖像處理技術(shù)進(jìn)行修正。

4 視場為120°×104.8°的高角分辨率光學(xué)系統(tǒng)

為了進(jìn)一步驗證這一方法，也為了說明用這種方法可以實現(xiàn)大視場、高角分辨率，用同樣的方法設(shè)計了一個視場角為120°×104.8°，最多可對20×20個圖像進(jìn)行拼接的高角分辨率系統(tǒng)，而且用這樣的3個系統(tǒng)還可以實現(xiàn)360°全景攝像。選擇的面陣CCD相關(guān)參數(shù)為:面積:36.072(H)×48.096(V)、像元尺寸:9 μm × 9 μm、像元數(shù):4056(H)×5356(V)。因為是對遠(yuǎn)處攝像，所以為了減小雜光，應(yīng)加濾光片濾除0.5 μm以下的色差。它產(chǎn)生的另一個好處是二級光譜比c、f線消色差要小2.5倍左右。中心波長仍為d光，在計算傳遞函數(shù)時，取3個波長的權(quán)重相同。為滿足360°全景攝像的需要，水平方向的視場角選擇為6°，因此焦距為457.9 mm。角分辨率為8 s(兩個像元對應(yīng)的視場角)，總像素為85億，相對孔徑取F/8，單個系統(tǒng)高低方向的視場角為4.5°，對角線方向?qū)?yīng)的視場角為7.5°。

圖4(a)為光學(xué)結(jié)構(gòu)圖。圍繞球透鏡的是20×20個中繼物鏡組成的陣列，每個中繼物鏡用一條長方形(可看做是鏡管)表示，與彈道測量相機(jī)相比，球透鏡少了一塊透鏡，也少用一種光學(xué)材料，但球透鏡的厚度有少許增加，中繼物鏡采用了和彈道相機(jī)同樣形式，見圖(b)。最后一片是濾光片。因其相對孔徑和視場都不算大，為了盡量減小筒長，取倍率為－1。光闌設(shè)在前組的后邊是為了減小主光線在球透鏡上的高度，以降低球透鏡產(chǎn)生的軸外像差，特別是高級像散和畸變，這樣做還有利于減小筒長。在滿足相鄰兩前組之間間隔的前提下，這一距離應(yīng)選擇大一些。從圖(c)上55對線(耐奎斯特頻率)的傳遞函數(shù)看，成像質(zhì)量比較好，100%通光。

圖 4 120°×104.8°視場、焦距為435.9 mm 光學(xué)系統(tǒng)Fig.4 Optical system with 120°× 104.8°of field of view and focal length 457.9

5 360°全景攝像

據(jù)2013年6用20日中央電視臺報道，美國在網(wǎng)上公布了一張好奇號火星車攝像機(jī)拍攝的由近900張圖像合成的360°全景照片。如果采用這種圖像拼接方法可以做到實時攝像。利用3個水平視場為120°的系統(tǒng)組合就可以實現(xiàn)360°全景攝像。高低方向的面陣CCD可以減少到10塊，于是高低方向的視場角變?yōu)?2.4°，3個系統(tǒng)共用600塊面陣CCD。即總圖像是由600個圖像拼接成的。圖5(a)說明，因為入射到圖中3個系統(tǒng)中字母相同的像點的物方光線互相平行，因此它們的物點是同一個。因此在不同系統(tǒng)中，字母相同的像點都可以作為圖像拼接的銜接點。如果把b和c作為銜接點，拼接成的360°全景圖像就是右圖。

圖5 全景攝影系統(tǒng)Fig.5 Schematic diagram of panoramic television

6 結(jié)論

為了驗證圖像拼接效果，在彈道測量相機(jī)裝調(diào)完后進(jìn)行了外景拍攝試驗，從屏幕上出現(xiàn)的拼接圖像上看，沒有發(fā)現(xiàn)拼接的痕跡。整個圖像的質(zhì)量比較好，而且相機(jī)已在實踐中使用。因此可得出結(jié)論，由我國最先研發(fā)出的這一圖像拼接技術(shù)是成功的，利用這一技術(shù)可以實現(xiàn)大視場、高分辨率、像面照度均勻和低畸變電視攝像。它的視場可達(dá)到120°×104.8°。利用3個或4個相同的系統(tǒng)，還可以實現(xiàn)360°全景攝像，這一新技術(shù)在軍事偵察、預(yù)警、航天攝影、機(jī)場安全監(jiān)視以及體育實況報道等多個領(lǐng)域有著廣闊的應(yīng)用前景。

［1］ TREMBLAY E J，MARKS D L，BRADY D J，et al..Design and scaling of monocentric multiscale imagers［J］.Applied Optics，2012，51(20):4691-4702.

［2］ MARKS D L，SON H S，KIM J，et al..Engineering a gigapixel monocentric multiscale camera［J］.Optical Engineering，2012，51(8):1-11.

［3］ DANIEL L M，ERIC J T，JOSEPH E F，et al..Microcamera aperture scale in monocentric gigapixel camera［J］.Applid Optics，2011，50(30):5824-5833.

［4］ 史光輝，郝志航.多塊 CCD 圖像拼接光學(xué)系統(tǒng):中國，96114902.7［P］.1996.11.SHI G H，HAO ZH H.Optical system of imaging composition applying many CCD of pieces:China，96114902.7［P］.1966.11.

［5］ KINGSLAKE R.Optical System Design［M］.New York:London Academic Press，1983.

［6］ PARK H S，AXELROD T S，COLELLA N J，et al..Realtime tracking system for the wide-field-of-view telescope project ［J］.SPIE，1989，1111:196-202.