基于FPGA 的簡易偏振成像系統(tǒng)設(shè)計(jì)

朱達(dá)榮，何 峰，汪方斌，嚴(yán)瑞陽，董必春

（1. 安徽建筑大學(xué) 電子與信息工程學(xué)院，安徽 合肥 230601；2.安徽建筑大學(xué) 機(jī)械與電氣工程學(xué)院，安徽 合肥 230601；3. 安徽建筑大學(xué) 建筑機(jī)械故障診斷與預(yù)警技術(shù)實(shí)驗(yàn)室，安徽 合肥 230601；4. 安徽省工程機(jī)械智能制造重點(diǎn)實(shí)驗(yàn)室，安徽 合肥 230601）

與普通彩色圖像相比，偏振圖像可以獲取目標(biāo)物光波的不同偏振態(tài)[1]，可以將目標(biāo)物表面的物理信息從三維擴(kuò)展到七維，被廣泛應(yīng)用于目標(biāo)識別探測[2]、大氣環(huán)境監(jiān)測[3]、醫(yī)學(xué)診斷[4]等領(lǐng)域。

傳統(tǒng)的簡易偏振成像系統(tǒng)由普通彩色相機(jī)前加旋轉(zhuǎn)偏振片組成，易因鏡頭抖動造成誤差，同時(shí)操作不便，旋轉(zhuǎn)角度的精度也難以保證。Hu 等[5]設(shè)計(jì)一種偏振圖像采集系統(tǒng)，采用單目相機(jī)、線性偏振器和四分之一波片搭建，能夠在水下渾濁條件下進(jìn)行圖像采集；張志剛等[6]設(shè)計(jì)一種偏振片陣列，每2×2 單元偏振方向分別設(shè)置為0°、45°、90°、135°，與CCD 相機(jī)集成，實(shí)現(xiàn)單張圖像實(shí)時(shí)記錄場景的不同偏振態(tài)；Jessica 等[7]設(shè)計(jì)了一種基于QT 支持的多媒體任務(wù)平臺下的手持式顯微偏振光相機(jī)，方便輕巧，實(shí)現(xiàn)物體表面細(xì)微結(jié)構(gòu)的觀測成像。

現(xiàn)場可編程門陣列（Field Programmable Gate Array，F(xiàn)PGA）是可編程陣列（Programmable Logic Array，PLA）和通用陣列（Genericarray Logic，GAL）進(jìn)一步發(fā)展的產(chǎn)物，克服了傳統(tǒng)定制電路的缺點(diǎn)，具有可無限編程的靈活性和快速并行處理能力。因此，本文采用偏振分光棱鏡，并利用FPGA 的優(yōu)點(diǎn)，搭建一種簡易的偏振成像系統(tǒng)，實(shí)現(xiàn)偏振圖像數(shù)據(jù)的實(shí)時(shí)采集、傳輸與圖像顯示。

1 偏振成像原理

本文根據(jù)菲涅爾公式[8]理論，采用偏振分光棱鏡搭配FPGA 驅(qū)動的圖像傳感器，獲取目標(biāo)物正交狀態(tài)下的兩偏振圖像。設(shè)計(jì)基于FPGA 的偏振圖像獲取系統(tǒng)，圖1 為具體的系統(tǒng)偏振成像原理圖。系統(tǒng)核心器件為偏振分光棱鏡，所選偏振分光棱鏡材質(zhì)為H-ZF3 型，尺寸為20.0 mm，誤差為0.2 mm，消光比大于1000 dB。依據(jù)偏振光學(xué)的基礎(chǔ)理論，任意偏振態(tài)的光矢量可分解為兩個(gè)相互垂直的分量，即平行方向的P分量和垂直方向的S分量[9]。菲涅爾分別研究這兩個(gè)分量，圖2、圖3 分別表示從電場強(qiáng)度E垂直、平行入射面的兩種情況研究。圖2、圖3 中標(biāo)識分別為電場強(qiáng)度的垂直分量Es和相對應(yīng)的磁場強(qiáng)度的平行分量Hp，其中i表示入射光的光波，r表示反射光的光波，t表示透射光的光波[10]。

圖1 系統(tǒng)偏振成像原理圖

圖2 電場強(qiáng)度E 垂直于入射面

圖3 電場強(qiáng)度E 平行于入射面

由光在不同介質(zhì)面的反射光和透射光的偏振特性可得出菲涅爾公式，公式如下：其中rs表示電場強(qiáng)度的垂直分量的振幅反射比，rp表示電場強(qiáng)度的平行分量的振幅反射比，ts表示電場強(qiáng)度的垂直分量的振幅透射比，tp表示電場強(qiáng)度的平行分量的振幅透射比；n1、n2為介質(zhì)折射率，θ1為入射角，θ2為折射角。根據(jù)菲涅爾反射公式的定義和強(qiáng)度反射率的定義，可推出反射光的P 分量和S 分量的光強(qiáng)反射率表達(dá)式[11]如下：

其中n=n2/n1為相對折射率，自然光電矢量的兩正交分量光強(qiáng)相等，即Is=Ip。界面反射情況下，兩分量的光強(qiáng)反射率不同且沒有固定的相位關(guān)系，反射光一般為部分偏振光。部分偏振光的偏振度表示如下[12]：

其中Imax和Imin分別為光通過偏振分光棱鏡后的光強(qiáng)極大值和極小值。將Imax=IpRp、Imin=IsRs代入上式得：

式中P 表示出射光的平行分量，即圖1 中CMOS2攝像頭采集的平行方向偏振光強(qiáng)圖像；S 表示出射光的垂直分量，即圖1 中CMOS1 攝像頭采集到垂直方向偏振光強(qiáng)圖像。基于公式（8）和采集到的P 分量和S 分量圖像，利用matlab 軟件進(jìn)行偏振解析，可得出目標(biāo)物的偏振度圖像。

2 偏振成像系統(tǒng)設(shè)計(jì)

傳統(tǒng)的簡易偏振成像系統(tǒng)所需的驅(qū)動設(shè)備較多，且適用的場景較少，一般僅在實(shí)驗(yàn)室條件下進(jìn)行偏振圖像采集。同時(shí)，前置旋轉(zhuǎn)臺自身的旋轉(zhuǎn)誤差以及旋轉(zhuǎn)過程中因鏡頭抖動造成的誤差，都可能造成偏振圖像的解析誤差。因此，設(shè)計(jì)了本文簡易偏振成像系統(tǒng)，只需USB 數(shù)據(jù)線連接筆記本電腦，即可實(shí)現(xiàn)室內(nèi)外多場景下的偏振圖像采集，同時(shí)，偏振方向定標(biāo)后的偏振分光棱鏡可克服偏振方向上的角度誤差。

2.1 系統(tǒng)整體模塊設(shè)計(jì)

偏振成像系統(tǒng)由圖像傳感器模塊、數(shù)據(jù)采集處理模塊和上位機(jī)顯示模塊組成，圖2 為成像系統(tǒng)的框圖。圖像傳感器模塊采用兩個(gè)OV7725 型CMOS圖像傳感器，傳感器內(nèi)部的感光序列和A/D 轉(zhuǎn)換器可將圖像信息由輸入的光信號轉(zhuǎn)換為輸出的8 位數(shù)字信號，便于數(shù)據(jù)采集處理模塊直接接收。數(shù)據(jù)采集處理模塊接收圖像傳感器傳輸?shù)膱D像數(shù)據(jù)，通過寫操作將其緩存在FIFO 存儲器中。數(shù)據(jù)輸出控制模塊通過讀操作將需要顯示的圖像數(shù)據(jù)傳輸至上位機(jī)，上位機(jī)根據(jù)輸出數(shù)據(jù)顯示相應(yīng)的P 分量圖像或S 分量圖像。

圖4 偏振成像系統(tǒng)框圖

2.2 系統(tǒng)工作流程

系統(tǒng)工作狀態(tài)流程圖如圖5 所示。系統(tǒng)工作流程：首先上電，運(yùn)行主程序，判斷系統(tǒng)是否處于復(fù)位狀態(tài)。若處于復(fù)位狀態(tài)，給予觸發(fā)信號，開始圖像數(shù)據(jù)采集。采集到的圖像數(shù)據(jù)寫入FIFO 存儲器緩存，數(shù)據(jù)輸出控制模塊則判斷輸入的控制信號，根據(jù)控制信號從FIFO 存儲器中讀出需要的圖像數(shù)據(jù)。若為低電平信號，則讀取CMOS1 采集的圖像數(shù)據(jù)；若為高電平信號，則讀取CMOS2 采集的圖像數(shù)據(jù)。其次，若為CMOS1 采集的圖像數(shù)據(jù)，即為S分量圖像，需要進(jìn)行水平鏡像翻轉(zhuǎn)操作。因?yàn)閮蓚€(gè)CMOS 圖像傳感器的引腳分布完全相同，垂直分布在偏振分光棱鏡的兩個(gè)面，所成像關(guān)于豎直方向?qū)ΨQ。至此，一幀圖像的傳輸完成，上位機(jī)顯示模塊根據(jù)傳輸過來的圖像數(shù)據(jù)顯示并保存圖像，斷電退出程序。

圖5 系統(tǒng)工作狀態(tài)轉(zhuǎn)移圖

2.3 圖像數(shù)據(jù)采集傳輸

圖像數(shù)據(jù)采集控制包括圖像傳感器的初始化配置、數(shù)據(jù)采集處理的配置、數(shù)據(jù)傳輸?shù)呐渲玫取PGA 主芯片通過IIC 協(xié)議中的SCLK 和SDATA總線對圖像傳感器內(nèi)部寄存器進(jìn)行初始化配置，以調(diào)節(jié)分辨率、幀率、自動白平衡、自動曝光、曝光時(shí)間等，如本文中調(diào)節(jié)分辨率為640×480、幀率為30 fps 等參數(shù)。圖6 為圖像傳感器與FPGA 的硬件接線圖。

圖6 CMOS 與FPGA 硬件連接圖

數(shù)據(jù)采集處理配置的主芯片為Cyclone IV 系列的FPGA，內(nèi)部子模塊包括圖像數(shù)據(jù)輸出控制模塊，通過外加高低電平信號控制輸出目標(biāo)圖像；FIFO 讀寫緩存控制模塊，通過讀寫操作存儲并顯示目標(biāo)圖像數(shù)據(jù)。配置采用JTAG 模式，將Quartus環(huán)境下編譯好的.sof 文件下載到主芯片的內(nèi)部存儲器中運(yùn)行，此方法的缺點(diǎn)是斷電后需要重新下載，主要用于前期調(diào)試。程序調(diào)試成功后，通過JTAG 模式將編譯好的.jic 文件下載到Flash 中，斷電后無須重新下載。

數(shù)據(jù)傳輸?shù)呐渲猛ㄟ^USB 驅(qū)動控制實(shí)現(xiàn)，采用Cypress USB 轉(zhuǎn)換芯片，型號為CY7C68013A。此芯片的GPIF 編程接口可實(shí)現(xiàn)完全并行配置，不需要外加邏輯即可通過USB 數(shù)據(jù)線連接上位機(jī)顯示模塊與FPGA，實(shí)現(xiàn)目標(biāo)圖像數(shù)據(jù)在FPGA 主芯片與上位機(jī)之間的實(shí)時(shí)傳輸，最高可支持480 Mbps的傳輸速度。USB 驅(qū)動控制模塊從數(shù)據(jù)輸出模塊接收圖像數(shù)據(jù)，并將其輸出給上位機(jī)，同時(shí)接收上位機(jī)傳達(dá)的指令，工作模式采用協(xié)處理器模式，協(xié)處理器件Cypress USB 轉(zhuǎn)換芯片主要負(fù)責(zé)高速數(shù)據(jù)的傳輸。圖7 為Cypress USB 轉(zhuǎn)換芯片作為協(xié)處理器與FPGA 的接線圖。

圖7 Cypress USB 協(xié)處理器與FPGA 接線圖

2.4 上位機(jī)顯示設(shè)計(jì)

上位機(jī)顯示模塊進(jìn)行數(shù)據(jù)采集處理，實(shí)現(xiàn)上位機(jī)與用戶間的信息交互[13]，采用Cypress 官方提供的Windows 平臺下的USB 接口驅(qū)動程序，通過配置VS 開發(fā)環(huán)境，將驅(qū)動程序進(jìn)行軟件封裝用以實(shí)現(xiàn)與FPGA 的通信，軟件設(shè)計(jì)語言采用C++語言。本文中圖像數(shù)據(jù)采集開始后，將采集到的圖像數(shù)據(jù)生成圖像，并在上位機(jī)顯示模塊中顯示。上位機(jī)顯示模塊可讀取數(shù)據(jù)后轉(zhuǎn)換顯示格式，圖像顯示格式可轉(zhuǎn)換為RAW 或RGB 格式。由2.2 節(jié)可知，經(jīng)偏振分光棱鏡后，采集的圖像關(guān)于豎直方向?qū)ΨQ，上位機(jī)顯示模塊中可實(shí)現(xiàn)圖像的水平翻轉(zhuǎn)，保證經(jīng)偏振解析后圖像信息的準(zhǔn)確性。圖8 為上位機(jī)顯示界面與FPGA 通訊后采集的圖像。

圖8 上位機(jī)顯示界面

3 系統(tǒng)誤差分析與標(biāo)定

系統(tǒng)安裝完成后，直接解析兩相機(jī)獲得的圖像，解析結(jié)果與設(shè)計(jì)理論值之間會存在一定偏差，因此需對偏振分光棱鏡的偏振方向進(jìn)行標(biāo)定。

裝配過程中兩CMOS 圖像傳感器與偏振分光棱鏡的相對位置存在誤差，采集同場景圖像時(shí)，采集的兩分量偏振圖像之間存在像素的偏移。系統(tǒng)各元件皆為固定裝配，像素偏移主要體現(xiàn)在水平和豎直方向上，且偏移量固定，不隨場景改變而改變，需對系統(tǒng)進(jìn)行像素偏移的標(biāo)定。

受制造工藝限制，偏振分光棱鏡實(shí)際分光量與理論值可能不符，另外，兩CMOS 傳感器對同一光強(qiáng)的光強(qiáng)響應(yīng)不同，因此需對兩CMOS 傳感器灰度響應(yīng)一致性進(jìn)行標(biāo)定。

3.1 偏振方向的標(biāo)定

根據(jù)馬呂斯定律知，強(qiáng)度為I1的偏振光經(jīng)檢偏器后，光強(qiáng)I2滿足下式：

式中θ為起偏器與檢偏器偏振方向的夾角，若θ=0°，I2最大；若θ=90°，I2最小。根據(jù)此特點(diǎn)，設(shè)計(jì)偏振分光棱鏡實(shí)際偏振方向的標(biāo)定實(shí)驗(yàn)，標(biāo)定裝置簡圖如圖9 所示。由THQPZ-1 型光偏振實(shí)驗(yàn)儀激光器提供光源，將已知偏振方向的偏振片安裝在Zolix 公司生產(chǎn)的RAK 100 型高精密電動旋轉(zhuǎn)滑臺上作為起偏器，偏振分光棱鏡作為檢偏器。在0°～360°范圍內(nèi)每5°旋轉(zhuǎn)一次，光源不變的情況下分別采集相應(yīng)的P 分量和S 分量圖像，多次實(shí)驗(yàn)計(jì)算圖像中間同一區(qū)域灰度均值，用最小二乘法擬合，結(jié)果如圖10 所示。根據(jù)圖中響應(yīng)峰值，確定實(shí)際的偏振方向?yàn)椋?°、86°。

圖9 偏振方向標(biāo)定裝置簡圖

圖10 偏振分光棱鏡偏振方向曲線擬合結(jié)果

3.2 像素偏移標(biāo)定

分析像素偏移量的誤差，發(fā)現(xiàn)兩分量圖像間的像素偏移主要體現(xiàn)在水平和豎直方向上，且偏移量固定。故像素偏移模型可用下式表示：

式中（xp，yp）表示P 分量圖像的像素點(diǎn)坐標(biāo)，為基準(zhǔn)圖像；（xs，ys）表示S 分量圖像的像素點(diǎn)坐標(biāo)，為待配準(zhǔn)圖像；（Δx，Δy）表示S 分量與P 分量在水平和豎直方向上的像素偏移量。為確定像素偏移量，采集不同場景的圖像，利用Harris 角點(diǎn)檢測算法[14]提取兩分量圖像中的共同特征點(diǎn)，求解圖像特征點(diǎn)相對位置的像素偏移量，在同一條件下多次重復(fù)實(shí)驗(yàn)求解均值，得到Δx=1.2，Δy=12.3。圖像原始像素大小為640×480，經(jīng)配準(zhǔn)后有效像素區(qū)域減少，為確保偏振信息計(jì)算有效性，結(jié)合像素偏移量，求得像素有效區(qū)域值如表1 所示：

表1 兩分量圖像有效像素范圍

3.3 灰度響應(yīng)一致性標(biāo)定

本文中CMOS 傳感器的鏡頭固定，曝光時(shí)間等參數(shù)已通過IIC 協(xié)議初始化設(shè)置，無須逐一標(biāo)定，只需求出兩CMOS 傳感器間的響應(yīng)系數(shù)。以P 分量圖像為基準(zhǔn)，根據(jù)下式求出S 分量相對P 分量的灰度響應(yīng)系數(shù)k21。

實(shí)驗(yàn)過程采用邁點(diǎn)的雙通道光源控制器提供光源，選取圖像中心區(qū)域計(jì)算灰度均值，多次進(jìn)行實(shí)驗(yàn)求均值，求出灰度響應(yīng)系數(shù)k21=1.0 626。

4 實(shí)驗(yàn)過程與分析

4.1 實(shí)驗(yàn)過程

為驗(yàn)證本文成像系統(tǒng)的實(shí)時(shí)性和穩(wěn)定性，利用標(biāo)定后的系統(tǒng)分別在室內(nèi)、室外和實(shí)驗(yàn)黑屋場景下進(jìn)行圖像采集。以下圖11 為室內(nèi)場景采集的圖像，圖12 為室外場景采集的圖像，圖13 為實(shí)驗(yàn)黑屋場景采集的圖像。

圖11 雙目采集成像系統(tǒng)采集室內(nèi)場景圖像

圖12 雙目采集成像系統(tǒng)采集室外場景圖像

圖13 雙目采集成像系統(tǒng)采集黑屋場景圖像

圖11（a）、圖12（a）、圖13（a）為CMOS1 圖像傳感器采集的S 分量圖像；圖11（b）、圖12（b）、圖13（b）為CMOS2 圖像傳感器采集的P 分量圖像，圖11（c）、圖12（c）、圖13（c）為S 分量圖像和P 分量解析所得的偏振度Pol 圖像。

4.2 實(shí)驗(yàn)分析

實(shí)驗(yàn)過程表明，本文設(shè)計(jì)的偏振成像系統(tǒng)可以穩(wěn)定、實(shí)時(shí)地采集多場景下的S 分量和P 分量的偏振光強(qiáng)圖像?；赟 分量和P 分量的偏振光強(qiáng)圖解析生成偏振度圖像，可以清晰看出目標(biāo)物的邊緣輪廓信息，在保留原有信息的基礎(chǔ)上增添細(xì)節(jié)信息，同時(shí)加強(qiáng)了目標(biāo)物與圖像背景的對比度。均方誤差（MSE）、平均絕對誤差（MAE）值越小，表示與原始圖像的偏差越??；峰值信噪比（PSNR）值越大。表示圖像的失真越小；結(jié)構(gòu)相似性（SSIM）值越大，表示與原始圖像的相似度越高，則圖像質(zhì)量越好。表2 以MSE、PSNR、MAE、SSIM 為評價(jià)指標(biāo)，分析各場景的P 分量圖、S 分量圖和偏振度Pol 圖。從表中可知，解析所得的偏振度圖與P 分量圖和S 分量圖相比MSE、MAE 值明顯更小，SSIM、PSNR值明顯更大。

表2 各場景圖像評價(jià)指標(biāo)值

5 結(jié)論

本系統(tǒng)以FPGA 為主控制器、偏振分光棱鏡為主光學(xué)器件，借助OV7725 型圖像傳感器采集圖像數(shù)據(jù)、USB 在FPGA 與上位機(jī)顯示模塊之間傳輸圖像數(shù)據(jù)、上位機(jī)顯示模塊負(fù)責(zé)實(shí)時(shí)顯示圖像，并將控制指令傳給FPGA，實(shí)現(xiàn)圖像顯示格式的轉(zhuǎn)變、圖像水平翻轉(zhuǎn)等?；贔PGA 的簡易偏振成像系統(tǒng)，結(jié)合了CMOS 圖像傳感器的高幀頻、FPGA 的并行處理和USB 數(shù)據(jù)傳輸?shù)膬?yōu)勢，整個(gè)系統(tǒng)造價(jià)低廉，拍攝條件寬松，經(jīng)檢驗(yàn)，在多場景下均成像穩(wěn)定。實(shí)驗(yàn)過程中獲取的圖像可以驗(yàn)證本文成像系統(tǒng)的有效性。