大面陣高清高幀CMOS槍瞄系統(tǒng)關(guān)鍵技術(shù)

陶聲祥，王書宇，吳海兵

(陸軍軍官學(xué)院 高過載彈藥制導(dǎo)控制與信息感知實(shí)驗(yàn)室，合肥 230031)

【裝備理論與裝備技術(shù)】

大面陣高清高幀CMOS槍瞄系統(tǒng)關(guān)鍵技術(shù)

陶聲祥，王書宇，吳海兵

(陸軍軍官學(xué)院 高過載彈藥制導(dǎo)控制與信息感知實(shí)驗(yàn)室，合肥 230031)

為了使射手能快速觀察并瞄準(zhǔn)戰(zhàn)場目標(biāo)，設(shè)計(jì)并實(shí)現(xiàn)了一種基于大面陣高清高幀頻CMOS圖像傳感器的數(shù)字槍瞄系統(tǒng)；重點(diǎn)解決了系統(tǒng)中的幾個(gè)關(guān)鍵技術(shù)：硬件電路設(shè)計(jì)、基于FPGA的CMOS驅(qū)動(dòng)、圖像格式轉(zhuǎn)換和瞄準(zhǔn)分劃的動(dòng)態(tài)生成與位置調(diào)整；實(shí)驗(yàn)結(jié)果表明：該系統(tǒng)可在采集分辨率為2 560×2 048，顯示分辨率為1 280×1 024，幀速為75 fps，數(shù)據(jù)傳輸速率為2G bps方式下穩(wěn)定地工作。

槍瞄系統(tǒng)；大面陣CMOS圖像傳感器；FPGA；顏色插值

數(shù)字槍瞄系統(tǒng)是為了幫助射手進(jìn)行觀察瞄準(zhǔn)的光電設(shè)備。現(xiàn)代車載或機(jī)載機(jī)槍平臺(tái)上，很多采用數(shù)字化頭盔式觀察瞄準(zhǔn)器，即利用外部的圖像傳感器獲取目標(biāo)場景，再通過幾米長的線纜傳送到頭盔中的顯示屏上，供射手觀察瞄準(zhǔn)。由于射擊時(shí)攝像鏡頭快速擺動(dòng)，圖像容易出現(xiàn)拖尾現(xiàn)象[1]，同時(shí)射手能觀察到的視野是越寬越好，這些因素都對圖像的分辨率和刷新率提出了很高的要求。另外，傳統(tǒng)槍瞄器的瞄準(zhǔn)分化線刻在玻璃板上，無法動(dòng)態(tài)調(diào)整。

近年來，隨著大面陣CMOS的快速發(fā)展，如何利用它進(jìn)行圖像的采集、處理、傳輸與顯示，國內(nèi)做了一些相關(guān)研究，比如：文獻(xiàn)[2]對如何利用大面陣CMOS成像進(jìn)行了研究。文獻(xiàn)[3]設(shè)計(jì)了利用CameraLink接口傳輸數(shù)據(jù)的相機(jī)圖像實(shí)時(shí)顯示系統(tǒng)。文獻(xiàn)[4]采用USB2.0 作為高速數(shù)據(jù)接口傳輸圖像數(shù)據(jù)，在液晶顯示屏上進(jìn)行圖像同步顯示。文獻(xiàn)[5]利用FPGA+DSP，實(shí)現(xiàn)了1280×720，25幀/秒高清視頻圖像系統(tǒng)。文獻(xiàn)[6-7]將CCD成像技術(shù)應(yīng)用到槍瞄裝備上。

本文利用NOIV1SN5000A圖像傳感器[8]、0.6英寸的OLED頭盔顯示屏和FPGA設(shè)計(jì)實(shí)現(xiàn)了一套數(shù)字槍瞄系統(tǒng)，該系統(tǒng)的圖像采集分辨率為2 560×2 048，顯示分辨率為1 280×1 024，實(shí)時(shí)刷新幀頻高達(dá)75 fps，采用抗干擾能力強(qiáng)的FPD-Link III協(xié)議進(jìn)行圖像數(shù)據(jù)傳輸，瞄準(zhǔn)鏡和頭盔之間只需2根同軸線纜，支持圖像放大(2倍)，動(dòng)態(tài)生成瞄準(zhǔn)分化線，疊加顯示在OLED屏上，支持動(dòng)態(tài)調(diào)整顯示位置。其中CMOS成像傳感器驅(qū)動(dòng)、圖像格式轉(zhuǎn)換、時(shí)序控制和外圍電路控制等均由FPGA完成。整個(gè)系統(tǒng)結(jié)構(gòu)簡單、體積小、支持低溫下工作。

1 系統(tǒng)工作原理

系統(tǒng)工作原理如圖1所示，首先通過大面陣CMOS采集目標(biāo)區(qū)圖像，通過顏色插值算法轉(zhuǎn)換圖像格式，同時(shí)根據(jù)用戶輸入動(dòng)態(tài)的生成電子瞄準(zhǔn)分化線，將其疊加在圖像上，再通過數(shù)據(jù)高速傳輸模塊送往頭盔顯示單元中驅(qū)動(dòng)OLED進(jìn)行顯示。

為實(shí)現(xiàn)圖像放大功能，在正常模式下需要將圖像進(jìn)行降采樣處理，將2 560×2 048的原始圖像采樣成1 280×1 024，即將4個(gè)像素點(diǎn)合成1個(gè)像素點(diǎn)進(jìn)行顯示，目的是實(shí)現(xiàn)對大視場范圍內(nèi)的目標(biāo)進(jìn)行觀察，滿足全局觀察的需要；在放大模式下，取圖像中心點(diǎn)的1 280×1 024進(jìn)行顯示，滿足對目標(biāo)局部細(xì)節(jié)的瞄準(zhǔn)需求。

圖1 系統(tǒng)工作原理

2 硬件電路設(shè)計(jì)

系統(tǒng)硬件電路主要由CMOS圖像傳感器、FPGA、單片機(jī)、圖像傳輸接口、加熱模塊、按鍵模塊、OLED顯示屏和時(shí)鐘等組成，其組成框圖如圖2。

圖2 系統(tǒng)硬件電路組成框圖

2.1 PCB電路板設(shè)計(jì)

PCB電路板實(shí)物如圖3所示，CMOS傳感器及外圍電路為一塊電路板，考慮FPGA、DS90UB925Q和單片機(jī)之間需要傳輸時(shí)鐘信號(hào)和數(shù)據(jù)，它們之間的連線很多，故設(shè)計(jì)在一塊電路板上，系統(tǒng)電源和加熱模塊則設(shè)計(jì)在另外一塊板上。電路板上模擬地和數(shù)字地分別覆銅，之間用零電阻或電感連接，劃為數(shù)字和模擬區(qū)域，提高電路板的抗干擾能力。

2.2 供電模式設(shè)計(jì)

考慮系統(tǒng)要在車載或機(jī)載等復(fù)雜環(huán)境下工作，自身供電應(yīng)盡量保持獨(dú)立，所以設(shè)計(jì)了外部供電和內(nèi)部供電兩種模式。外部供電時(shí)，電壓是24 V，使用WRB2405LT-3WR芯片將24 V轉(zhuǎn)換成5 V作為系統(tǒng)供電基礎(chǔ)，各器件所需電源均由5 V電源轉(zhuǎn)換得到。內(nèi)部供電時(shí)，使用自帶的蓄電池，在無外接電源的情況下，可獨(dú)立工作12 h。外接電源時(shí)可自動(dòng)充電。

2.3 主要器件配置

1) CMOS圖像傳感器與FPGA接口電路：FPGA通過SPI接口采用從模式對CMOS芯片的寄存器進(jìn)行參數(shù)設(shè)置和讀取，CMOS圖像傳感器在時(shí)鐘和同步信號(hào)作用下以8位模式輸出數(shù)據(jù)。

2) 單片機(jī)與FPGA接口電路：單片機(jī)主要用來設(shè)置FPGA內(nèi)部邏輯的工作參數(shù)，比如設(shè)置圖像顯示窗口的起始坐標(biāo)、顯示菜單、按鍵信息和相關(guān)參數(shù)。

圖3 PCB電路板實(shí)物

3) DS90UB925Q與FPGA接口電路：通過I2C通信，傳輸?shù)男盘?hào)包括有24位圖像信號(hào)、像素時(shí)鐘、同步信號(hào)等。

4) DS90UB925Q與DS90UB926Q接口電路：由于輸出數(shù)據(jù)頻率在GHz以上，故使用帶屏蔽線的雙絞線進(jìn)行傳輸，同時(shí)DOUT+、DOUT-通道上串聯(lián)LC元件，使傳輸線達(dá)到阻抗匹配以便正常傳輸數(shù)據(jù)。

5) 加熱模塊：主要由溫度傳感器和加熱器組成，通過單片機(jī)進(jìn)行控制。由于該型號(hào)CMOS芯片的工作溫度范圍為0～70℃，所以當(dāng)系統(tǒng)在低溫環(huán)境下啟動(dòng)時(shí)，必須通過加熱模塊升高溫度，確保CMOS芯片正常工作。

3 基于FPGA的驅(qū)動(dòng)與圖像處理

利用FPGA驅(qū)動(dòng)CMOS圖像處理器，同時(shí)對圖像數(shù)據(jù)進(jìn)行相應(yīng)的轉(zhuǎn)換和處理。

3.1 驅(qū)動(dòng)CMOS圖像傳感器

CMOS圖像傳感器的行輸出時(shí)序如圖4所示，在每一行圖像數(shù)據(jù)輸出時(shí)，同步信號(hào)通道會(huì)給出行開始標(biāo)志(Line Start，LS)和行結(jié)束標(biāo)志(Line End，LE)，而第一行會(huì)冠以幀開始的標(biāo)志(Frame Start，F(xiàn)S)，最后一行則冠以幀結(jié)束標(biāo)志(Frame End，F(xiàn)E)。在同步信號(hào)中，還有黑色像素標(biāo)志(Black pixel data，BL)，用于對同行信號(hào)進(jìn)行補(bǔ)償；有效像素標(biāo)志(Valid pixel data，IMG)和CRC校驗(yàn)碼等。FPGA根據(jù)來自同步信息和8個(gè)通道的圖像LVDS信號(hào)，解析出幀同步信號(hào)、行同步信號(hào)、圖像數(shù)據(jù)和時(shí)鐘等信息。

圖4 CMOS傳感器行輸出時(shí)序

FPGA輸出給CMOS圖像傳感器的工作時(shí)鐘有兩個(gè)：37.5 MHz和31 MHz，分別用做圖像放大和正常輸出時(shí)的CMOS輸入?yún)⒖紩r(shí)鐘，主要根據(jù)外部按鍵命令進(jìn)行選擇。CMOS圖像傳感器工作模式是8-bit mode with PLL，在內(nèi)部進(jìn)行了5倍頻，因此在正常模式下CMOS內(nèi)部工作時(shí)鐘頻率是155 MHz，放大模式下為187.5 MHz。此外，F(xiàn)PAG給CMOS進(jìn)行SPI參數(shù)配置的工作時(shí)鐘是3.125 MHz

4 圖像格式轉(zhuǎn)換

由于該型號(hào)CMOS圖像傳感器采用Bayer彩色模式輸出RAW格式數(shù)據(jù)，因此，為了和顯示接口的數(shù)據(jù)格式相匹配，必須要進(jìn)行圖像格式轉(zhuǎn)換。最普通的方式采用雙線性插值(Bilinear)算法。效果比較好的算法有：Admas和Hamilton[8]提出的自適應(yīng)插值算法;Lukac和Plataniotis[9]提出的正規(guī)化顏色比插值算法;Lu和Tan[10]提出的探索鄰域像素空間和光譜相關(guān)性的復(fù)原算法；BU F等[11]提出的一種基于邊緣和色差插值的復(fù)原算法。

由于該系統(tǒng)對復(fù)原圖像的品質(zhì)和速度都有一定的要求，考慮到品質(zhì)與速度的均衡性，本文設(shè)計(jì)了一種利用色差空間的高效圖像復(fù)原算法：首先，利用5×5模板內(nèi)的像素估計(jì)插值的方向并用最優(yōu)的權(quán)重系數(shù)插值G分量，其次利用基于有理函數(shù)的二維插值算子在色差空間中插值R(B)處缺少的B(R)分量,最后再次利用色差插值G處缺少的R和B分量。具體的算法步驟如下：

1) 通過邊緣檢測對綠色分量G進(jìn)行插值。在Bayer模板中，綠色分量所占的分量最重，所以先對G分量進(jìn)行插值?？紤]到邊緣像素的問題，對G分量采用基于邊緣檢測的插值算法。首先定義5×5模板的水平梯度ΔHg和垂直梯度ΔVg，用來估計(jì)模板內(nèi)是否存在水平方向和垂直方向的邊緣。如果某一方向的梯度值大，就意味著在該方向存在著邊緣。

水平梯度和垂直梯度的定義如下：

ΔHg=abs(G(i-2,j-1)+G(i+2,j-1)- 2G(i,j-1))+abs(G(i-2,j+1)+G(i+2,j+1)-2G(i,j+1))+abs(G(i-1,j)-G(i+1,j))

(1)

ΔVg=abs(G(i-1,j-2)+G(i-1,j+2)- 2G(i-1,j))+abs(G(i+1,j-2)+G(i+1,j+2)-2G(i+1,j))+abs(G(i,j-1)-G(i,j+1))

(2)

判斷方向以后對G分量進(jìn)行插值，以插值紅色像素處缺少的綠色像素為例：

當(dāng)ΔHg>ΔVg時(shí)：

(3)

當(dāng)ΔHg=ΔVg時(shí)：

(4)

當(dāng)ΔHg<ΔVg時(shí)：

(5)

(6)

2) 采用同樣算法來插值B分量處缺少的綠色分量G。

3) 利用二維有理函數(shù)插值算子插值B分量處缺少的R分量。

由于采用相同的插值系數(shù)很難獲取到品質(zhì)好的圖像,所以本文采用二維有理函數(shù)插值算子對色度分量(R和B)在色差空間進(jìn)行插值。

二維圖像的插值模式如圖5所示，P像素的灰度值要通過Pa1，Pa2，Pa3，Pa4等4個(gè)像素的灰度值插值得到。假設(shè)像素的灰度為ai，二維有理函數(shù)插值算子表示為

P=RF2D(x1,x2,x3,x4)=

(7)

式(7)中，ωx,y=1/8+k(ay-ax)2，x,y=1,2,3,4,k是非線性系數(shù)，當(dāng)k=0時(shí)，等價(jià)于雙線性插值。

Pa1Pa2PPa3Pa4

圖5 二維圖像插值模式

以插值所有藍(lán)色像素B處的紅色像素R為例，用圖5的二維插值模式，其中，P位置為藍(lán)色像素，Pai(i=1，2，3，4)位置為紅色像素。在進(jìn)行插值時(shí)，需要計(jì)算像素P上的顏色差KR(P)：

RF2D(KR(PR1)，KR(PR2)，KR(PR3)，KR(PR4))

(8)

其中KR(PRi)=Gi-Ri(i=1,2,3,4)，從而可以得到藍(lán)色像素上缺少的紅色像素為：

Ri, j=Gi, j-KR(P)

(9)

4) 采用同樣算法恢復(fù)紅色像素處缺少的藍(lán)色分量。

5) 恢復(fù)綠色分量G處缺少的R和B分量

將邊界檢測原理應(yīng)用到G分量處色度信號(hào)的恢復(fù)中，利用亮度的二階導(dǎo)數(shù)作修正，在色差空間進(jìn)行插值。以插值紅色分量R為例，當(dāng)綠色分量G的上下位置有兩個(gè)R值是已知時(shí)，計(jì)算公式如下：

Gi, j=[Ri, j-1+Ri, j+1]/2+[2Gi, j-Gi, j-1-Gi, j+1]/2

(10)

當(dāng)綠色分量G的左右位置有兩個(gè)R已知時(shí)，計(jì)算公式如下：

Gi, j=[Ri-1, j+Ri+1, j]/2+[2Gi, j-Gi-1, j-Gi+1, j]/2

(11)

6) 同樣的方法可以插值出綠色像素處缺少的藍(lán)色像素值。

7) 通過色差插值更新G分量的值在插值得到的RIB分量的基礎(chǔ)上，對G分量使用色差插值的方法進(jìn)行更新。更新R分量處的G分量的值，公式如下：

Gi, j=(Gi-1, j+Gi+1, j+Gi, j-1+Gi, j+1)+

[4Ri, j-(Ri-1, j+Ri+1, j+Ri, j-1+Ri, j+1)]

(12)

根據(jù)對稱性，可以更新B分量處的G分量。

執(zhí)行完上述過程后，可以在所有像素上得到紅綠藍(lán)3種顏色的分量，最終實(shí)現(xiàn)從RAW到RGB的轉(zhuǎn)換。

5 瞄準(zhǔn)分劃的動(dòng)態(tài)生成與疊加顯示

瞄準(zhǔn)分化是由帶刻度的垂直軸、橫軸和橢圓組成，為瞄準(zhǔn)射擊提供參考?？紤]人眼的瞄準(zhǔn)精度和舒適度，中心點(diǎn)4個(gè)像素，分劃線寬2個(gè)像素。

需要調(diào)整瞄準(zhǔn)分化時(shí)，由單片機(jī)掃描按鍵硬件信號(hào)，讀取用戶的輸入。比如用戶可通過按鍵預(yù)設(shè)目標(biāo)距離和自身運(yùn)動(dòng)速度，單片機(jī)通過內(nèi)置的射表進(jìn)行相應(yīng)計(jì)算，得到射擊提前量，進(jìn)而確定瞄準(zhǔn)分化上軸線的長度、橢圓的半徑、刻線間隔等數(shù)值，再將這些數(shù)值發(fā)送給FPGA，由FPGA動(dòng)態(tài)生成分劃圖案，疊加在圖像數(shù)據(jù)上。

瞄準(zhǔn)分化的瞄準(zhǔn)點(diǎn)默認(rèn)設(shè)定為顯示屏的中心位置，操作時(shí)用戶能夠通過按鍵模塊中的上下左右按鍵來調(diào)整瞄準(zhǔn)點(diǎn)的位置坐標(biāo)，使其對準(zhǔn)目標(biāo)。

考慮到有些機(jī)載設(shè)備上安裝有激光測距機(jī)和速度傳感器等，所以單片機(jī)中還單獨(dú)設(shè)計(jì)了一個(gè)外部接口，可以直接接收外部設(shè)備傳送過來的目標(biāo)距離和自身運(yùn)動(dòng)速度等數(shù)據(jù)，直接進(jìn)行計(jì)算，進(jìn)而確定瞄準(zhǔn)分化的顯示參數(shù)。

另外，在進(jìn)行光軸標(biāo)定時(shí)也是通過按鍵實(shí)時(shí)調(diào)整瞄準(zhǔn)分化中心原點(diǎn)的坐標(biāo)，調(diào)整后的位置能夠自動(dòng)存儲(chǔ)，掉電后不會(huì)丟失。

6 試驗(yàn)結(jié)果

根據(jù)以上軟硬件設(shè)計(jì)，制作了原理樣機(jī)，并開展了相關(guān)試驗(yàn)。試驗(yàn)采用頻率為50 MHz的主時(shí)鐘，同軸線纜傳輸長度為1.2 m，采集并顯示的幀速達(dá)到75 fps，鏡頭以72RPM快速轉(zhuǎn)動(dòng)時(shí)，顯示圖像無拖尾。獲取的偵察瞄準(zhǔn)圖像如圖6：(a)為正常模式下的圖像；(b)為放大模式下的圖像(放大倍率：2)；(c)為調(diào)整瞄準(zhǔn)點(diǎn)時(shí)的圖像；(d)為黃昏時(shí)的圖像。

圖6 偵察瞄準(zhǔn)圖像

7 結(jié)論

本文首次將大面陣CMOS圖像傳感器應(yīng)用到槍瞄系統(tǒng)中，實(shí)現(xiàn)了偵瞄圖像的高清高幀顯示，從硬件和軟件層面上進(jìn)行了設(shè)計(jì)。試驗(yàn)表明：該系統(tǒng)在鏡頭快速轉(zhuǎn)動(dòng)時(shí)，顯示的高清圖像沒有出現(xiàn)拖尾現(xiàn)象，而且在光強(qiáng)較弱的情況下也有很好的表現(xiàn)。相比現(xiàn)有的機(jī)載槍瞄系統(tǒng)，該系統(tǒng)具有結(jié)構(gòu)簡單、成像清晰、抗干擾能力強(qiáng)和瞄準(zhǔn)分化可調(diào)等優(yōu)點(diǎn)。

[1] 王慶有.圖像傳感器應(yīng)用技術(shù)[M].北京:電子工業(yè)出版社,2003.

[2] 劉新明，劉文，劉朝暉.大面陣CMOS APS相機(jī)系統(tǒng)的設(shè)計(jì)[J].光子學(xué)報(bào)，2009,38(12):3235-3238.

[3] 王明富，楊世洪，吳欽章.大面陣CCD圖像實(shí)時(shí)顯示系統(tǒng)的設(shè)計(jì)[J].光學(xué)精密工程，2010,18(9):2053-2059.

[4] 大面陣高幀頻可配置CMOS 數(shù)字視頻系統(tǒng)研究與實(shí)現(xiàn)[J].微計(jì)算機(jī)信息，2006，22(11):173-175.

[5] 高楊，劉榮科，胡偉.基于FPGA+DSP的高清視頻圖像系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].電子測量技術(shù)，2011，34(1):69-73.

[6] 高有堂，常本康，田思.CCD技術(shù)的微光槍瞄檢測系統(tǒng)[J].火力與指揮控制，2008，33(10)：67-70.

[7] 高有堂，常本康，邱亞峰.多環(huán)境試驗(yàn)條件下微光槍瞄檢測系統(tǒng)設(shè)計(jì)[J].微計(jì)算機(jī)信息，2007，23(8):94-96.

[8] HAMILTON J,ADAMS J.Adaptive Color plane interpolation in signal sensor color electronic camera:USA,5629734[P].1996-03-17.

[9] LUKAC R,PLATANIOTIS K N.Digital camera zooming based on unified CFA image processing steps[J].IEEE Trans Consum Electron,2004,50(1):737-745.

[10]LU W,TAN Y P.Color filter array demosaicking:new method and performance measures [J].IEEE Trans Image Process,2003,12(10):1194-1210.

[11]BU F,WEIDONG Q,YUEHONG Q.A novel weighted edge-directed and weighted-color-difference interpolation for demosaicking Bayer-pattern color images [J].Journal of Information & Computational Science，2012,9(7):1781-1794.

(責(zé)任編輯周江川)

Key Technology Research in Riflescope System Based on High Definition and Huge Frame and Large Area Array CMOS

TAO Sheng-Xiang, WANG Shu-Yu, WU Hai-Bing

(Laboratory of Guidance Control and Information Perception Technology of High Overload Projectiles, Army Officer Academy of PLA, Hefei 230031, China)

In order to enable the shooter to observe and target the battlefield，the paper designed and realized a digital riflescope system based on high definition and huge frame and large area array CMOS. In this paper, the key technologies for realizing the system were solved. It includes hardware circuit design, CMOS driver based on FPGA, image format conversion and dynamic generation and position adjustment of targeting differentiation line. The experiment results indicate that the system can stably work at the resolution of 2 560×2 048, the display resolution of 1 280×1 024, the frame rate of 75 fps and the data transmission rate of 2G bps.

riflescope system; large plane CMOS image sensor; FPGA; color interpolation.

2016-08-01；

2016-09-10

國家自然科學(xué)基金項(xiàng)目(11172331)

陶聲祥(1967—)，男，博士，教授，主要從事目標(biāo)探測、成像技術(shù)研究。

10.11809/scbgxb2017.01.003

陶聲祥，王書宇，吳海兵.大面陣高清高幀CMOS槍瞄系統(tǒng)關(guān)鍵技術(shù)[J].兵器裝備工程學(xué)報(bào)，2017(1):12-16.

format:TAO Sheng-Xiang, WANG Shu-Yu, WU Hai-Bing.Key Technology Research in Riflescope System Based on High Definition and Huge Frame and Large Area Array CMOS[J].Journal of Ordnance Equipment Engineering,2017(1):12-16.

TP212

A