天津大學
薛博文,沈佳慧,趙燕飛,茹明明,黃浩楊
自行設計的相機陣列測量系統(tǒng)主要由4×4相機陣列、16路圖像采集卡、高精度電動位移臺組成。
目前主流的陣列相機圖像采集模式主要有兩種:單個相機+高精度二維電控位移臺、實際裝配相機陣列。相較于前者,搭建實際的相機陣列可以進行動態(tài)目標光場的采集,且其制造裝配精度更符合實際工業(yè)生產(chǎn)的模式;而前者只能采集靜態(tài)場景的圖像且基本不考慮相機的制造裝配誤差問題,僅僅適用于原理性驗證,距離實際生產(chǎn)與應用仍較遠。因此本文實驗裝置采用裝配相機陣列的模式。
相機陣列中的相機個數(shù)影響了角度采樣的密集程度,更密集的采樣有利于減少數(shù)字重聚焦之后的混疊現(xiàn)象,提升測量精度。但受制于體積和成本,相機個數(shù)的增加有上限,且隨著相機個數(shù)的增加,像質的提高逐漸放緩。綜上考慮,確認陣列為4×4的大小。由相似三角形原理得到:
式中:f為焦距;Z為物體距離;B為基線距離;d為視差大小。在一定范圍內(nèi)增加基線距離B,也即增加視差,有利于提高測量精度。但這也同樣受系統(tǒng)體積限制,綜合考慮采用30 mm的基線距離,系統(tǒng)長和寬均在150 mm左右。
考慮到相機陣列的體積限制,單個傳感器體積應較小。因此采用面型小且成本低的SONY1/3英寸CCD圖像傳感器作為陣列單元。傳感器的數(shù)據(jù)接收使用Microvision公司MV-1528型圖像采集卡配合臺式電腦完成。采集卡可完成16路圖像的同步采集。
鏡頭經(jīng)過標定,為焦距約7.91 mm的定焦鏡頭,接口為M12×0.5標準監(jiān)控鏡頭規(guī)格。由于制造裝配誤差,標定時發(fā)現(xiàn)這一批16個鏡頭的焦距有約±0.4 mm的浮動,可以在后續(xù)算法中進行校正。
確定了相機陣列大小、傳感器參數(shù)和排布之后,還要考慮如何設計支架來盡量減小制造裝配誤差、提高裝置的精度,特別是保證16個相機的光軸互相平行且基線距離為30 mm。初版方案為多層夾板式,此方案下支架結構簡單易加工。但是如果出現(xiàn)裝配誤差會導致所有的孔位出現(xiàn)偏移。因此,最終選擇單層板,加工為階梯孔的形式。支架的背面走線,正面安裝相機底座。材質使用硬度更高、性狀穩(wěn)定的尼龍,尼龍支架由四角的M3銅柱固定,四個銅柱再連接內(nèi)層的鋁合金支架。
高精度電動位移臺為Zolix公司生產(chǎn)的,單向移動范圍達到1 m,滿足驗證性實驗要求。
如圖1所示,相機陣列采集原始圖像后,根據(jù)提前標定好的相機陣列內(nèi)外參數(shù)對子圖像進行射影變換,通過疊加取均值獲得重聚焦圖像。隨后選取目標物進行子圖像之間的特征點匹配,通過計算序列圖像的方差評價因子得到物體與相機的縱向距離。物體和相機陣列主光軸之間的橫向距離由成像公式得出。在實際計算中可以先選定目標物,隨后僅僅對特征點進行變換,從而提高計算效率。
圖1 具體實施方案流程
在任意兩點間歐氏距離的測量實驗中,由標定結果的相機內(nèi)參數(shù)矩陣以及平移矩陣計算出控制16張圖像平移的兩個4×4矩陣。因物體布置距離較遠,且橫向范圍大,故本實驗選擇將相機固定在直角板上。直角板固定在光學平臺上,保證相機陣列平面垂直于水平面。如圖2所示,物體A和物體B被放置于平坦的實驗室地面上,高度分別為24.5 cm和17.6 cm。
圖2 1號相機采集的A、B兩物體圖像
改變兩個物體位置,進行多次實驗。將單個B物體放置于距離相機陣列40~400 cm的位置,每間隔10 cm進行一次拍攝,共獲取37組圖像數(shù)據(jù)。因測量距離遠,參考量值不再通過電控位移臺獲得??v向距離參考量值由鋼卷尺測量。橫向距離參考量值由米尺測量。點擊選擇圖3所示的軟件界面中的“選擇圖像”按鈕可以將一組16張圖像錄入MATLAB進行處理。
圖3 軟件界面
選擇目標物后,點擊“物體A縱向距離”按鈕,即完成縱向距離計算。界面會顯示目標物的特征匹配結果。
隨后根據(jù)每一個slope計算對應“重聚焦”圖像的每一個特征點位置坐標的方差。在計算過程中,slope值的步長取為0.01,范圍為(-120,0)。最終發(fā)現(xiàn)計算結果的穩(wěn)定性顯著高于清晰度評價曲線。
使用鼠標在圖像中的物體A和B上分別選取兩點,點擊“橫向距離測量”按鈕,完成物體A左側至物體B右側的橫向距離測量。同理可以完成垂直方向距離測量。最后根據(jù)式(1)計算兩點之間的歐氏距離。
式中:r為最終距離;W為橫向距離;H為垂直方向距離;Z為縱向距離。
為測量方便,在鼠標選點步驟中,分別選取了圖4中物體A、B左右兩側的點。真實距離為28.2 cm,測量結果為28.0 cm,相對誤差為0.7%??紤]到鼠標選點精確度較低,因此橫向測量結果相對誤差在可接受范圍內(nèi)。兩物體縱向距離分別為80 cm和100 cm,相對誤差分別為5.86%和0.41%。
將物體在80~460 cm范圍內(nèi)按一定間隔布置,使用本系統(tǒng)進行計算。同時,選取間隔120 mm的兩個相機上物體的相同點,進行同等條件下基于雙目的深度估計。本方法與雙目測量結果對比如圖4所示。
目前國內(nèi)對于光場測量的研究較少,已有的算法多為原理性驗證實驗,即使用單個相機+高精度電控位移臺的形式模擬陣列相機的成像效果,可以很方便地改變相機型號和采樣密度,但這些算法普遍沒有考慮相機的位置誤差等問題,這與實際應用相差較遠。在此基礎上,我們自行設計相機陣列,并以此為基礎完成整套算法的設計與實驗驗證。具體創(chuàng)新點如下:
(1)提出了一種陣列相機的總體設計方法,具有體積小、重量輕的特點,提升了現(xiàn)有相機陣列系統(tǒng)應用場景的靈活性;
(2)設計了基于混疊效應的深度估計算法,選擇因子評價重聚焦序列圖像的發(fā)散和匯聚程度,得益于誤差平均效應,使得系統(tǒng)相比雙目具有更高的測量精度。
(3)提出了計算圖像上兩點間歐氏距離測量方法,通過鼠標操作即可獲得空間中兩點之間的距離,提升了計算結果的準確度和可讀性。
以相機陣列為基礎的計算攝影技術可以從多個成本較低的相機中恢復出更高維度的信息,可用于對場景的深度估計。采用基于數(shù)字重聚焦的方法進行深度估計,計算速度快,在機載成像、安全監(jiān)控、工業(yè)產(chǎn)品質量檢測、顯微診斷等領域有較好的應用前景。