基于FPGA和NIOSⅡ的自動(dòng)對(duì)焦系統(tǒng)設(shè)計(jì)＊

王青松，杜玉軍，汪桂霞，高 明

（西安工業(yè)大學(xué) 光電工程學(xué)院，西安710021）

圖像包含了大量人類(lèi)所要獲取的信息，而且圖像越清晰圖像信息越豐富．人類(lèi)視覺(jué)系統(tǒng)的先進(jìn)性使得空間物體能夠在視網(wǎng)膜上成清晰的圖像．嵌入式圖像采集系統(tǒng)依靠光學(xué)鏡頭來(lái)把空間物體成像在圖像傳感器的光敏面上，圖像的清晰度取決于光學(xué)鏡頭透鏡組中透鏡的位置．為了實(shí)現(xiàn)光學(xué)鏡頭所成像自動(dòng)位于圖像傳感器的光敏面上，人們開(kāi)展了大量的研究，出現(xiàn)了自動(dòng)對(duì)焦技術(shù)．

基于圖像處理的自動(dòng)對(duì)焦技術(shù)的研究主要有兩個(gè)方面［1］：①自動(dòng)對(duì)焦評(píng)價(jià)函數(shù)的理論研究，在這方面，研究者取得了一定的成果［2］；②自動(dòng)對(duì)焦實(shí)現(xiàn)研究［3］，主要是利用計(jì)算機(jī)執(zhí)行軟件程序?qū)崿F(xiàn)自動(dòng)對(duì)焦評(píng)價(jià)函數(shù)．在嵌入式圖像采集系統(tǒng)中，文獻(xiàn)［4-5］利用數(shù)字信號(hào)處理（Digital Signal Processing，DSP）與進(jìn)階精簡(jiǎn)指令機(jī)器（Advanced RISC Machines，ARM）芯片作為嵌入式處理器來(lái)研究自動(dòng)對(duì)焦的實(shí)現(xiàn)，都取得了一定的成果．但是DSP與ARM芯片引腳作用固定，在與圖像傳感器、存儲(chǔ)器和顯示器等外部單元連接時(shí)靈活性比較差，另外DSP與ARM的內(nèi)部硬件資源不可更改，因此，本文提出基于現(xiàn)場(chǎng)可編程門(mén)陣列（Field-Programmable Gate Array，F(xiàn)PGA）和 NIOSⅡ嵌入式處理器（美國(guó)ALTERA公司生產(chǎn)）實(shí)現(xiàn)自動(dòng)對(duì)焦的方法，解決上面的問(wèn)題．

本文設(shè)計(jì)了一個(gè)圖像采集、存儲(chǔ)及顯示系統(tǒng)，利用NIOSⅡ執(zhí)行程序?qū)崿F(xiàn)自動(dòng)對(duì)焦，通過(guò)所設(shè)計(jì)的自動(dòng)對(duì)焦系統(tǒng)的測(cè)試數(shù)據(jù)分析，以期得到圖像幀頻、對(duì)焦區(qū)域大小、對(duì)焦時(shí)間和對(duì)焦誤差四者之間的相互關(guān)系．

1 基于FPGA和NIOSⅡ的自動(dòng)對(duì)焦系統(tǒng)組成

基于FPGA和NIOSⅡ的自動(dòng)對(duì)焦系統(tǒng)主要由分劃板、光學(xué)鏡頭、步進(jìn)電機(jī)、互補(bǔ)金屬氧化物半導(dǎo)體（Complementary Metal Oxide Semiconductor，CMOS）圖像傳感器、FPGA和液晶顯示器（Liquid Crystal Display，LCD）組成，組成框圖如圖1所示．

圖1 基于FPGA和NIOSⅡ的自動(dòng)對(duì)焦系統(tǒng)組成框圖Fig．1 Block diagram of auto-focus system based on FPGA and NIOSⅡ

圖2 FPGA與圖像傳感器、SDRAM和LCD的接口設(shè)計(jì)圖Fig．2 Interface design diagram of FPGA with image sensor，SDRAM and LCD

在此系統(tǒng)中，F(xiàn)PGA控制液晶顯示器及圖像傳感器工作得到圖像數(shù)據(jù)，然后把圖像數(shù)據(jù)存儲(chǔ)在同步動(dòng)態(tài)隨機(jī)存儲(chǔ)器（Synchronous Dynamic Random Access Memory，SDRAM）中，F(xiàn)PGA 內(nèi)部的NIOSⅡ嵌入處理器執(zhí)行自動(dòng)對(duì)焦算法程序?qū)D像數(shù)據(jù)進(jìn)行處理，并根據(jù)處理結(jié)果控制步進(jìn)電機(jī)運(yùn)動(dòng)，步進(jìn)電機(jī)帶動(dòng)光學(xué)鏡頭內(nèi)部透鏡組運(yùn)動(dòng)，使得光學(xué)分劃板通過(guò)鏡頭所成像的像面位于圖像傳感器的光敏面上，因而獲得清晰的圖像．系統(tǒng)中的LCD顯示屏在FPGA控制之下把存儲(chǔ)于SDRAM中的圖像數(shù)據(jù)轉(zhuǎn)換成圖像進(jìn)行顯示，通過(guò)顯示屏可以觀察到自動(dòng)對(duì)焦系統(tǒng)實(shí)現(xiàn)圖像由模糊到清晰的變化過(guò)程．

2 圖像采集、存儲(chǔ)及顯示系統(tǒng)的方案設(shè)計(jì)

圖像采集、存儲(chǔ)及顯示的實(shí)現(xiàn)是建立在分劃板、光學(xué)鏡頭、CMOS圖像傳感器、FPGA、SDRAM和LCD顯示屏所組成的硬件基礎(chǔ)之上的．分劃板通過(guò)光學(xué)鏡頭成像在CMOS圖像傳感器的光敏面上，由FPGA把圖像傳感器的輸出圖像數(shù)據(jù)轉(zhuǎn)存到SDRAM中，再?gòu)腟DRAM中讀出圖像數(shù)據(jù)傳送給LCD顯示屏，最終在LCD顯示屏上顯示圖像傳感器所生成的圖像．在這個(gè)過(guò)程中，F(xiàn)PGA與CMOS圖像傳感器、SDRAM和LCD顯示屏的接口設(shè)計(jì)決定了圖像采集、存儲(chǔ)和顯示的成?。瓼PGA與CMOS圖像傳感器、SDRAM和LCD顯示屏的接口設(shè)計(jì)如圖2所示．

3 自動(dòng)對(duì)焦設(shè)計(jì)

圖像采集、存儲(chǔ)及顯示系統(tǒng)的設(shè)計(jì)為自動(dòng)對(duì)焦的實(shí)現(xiàn)奠定了一定的硬件基礎(chǔ)．由于圖像數(shù)據(jù)已經(jīng)存儲(chǔ)于SDRAM中，這時(shí)，嵌入式處理器NIOSⅡ首先通過(guò)執(zhí)行程序讀取這些數(shù)據(jù)，然后調(diào)用自動(dòng)對(duì)焦評(píng)價(jià)函數(shù)程序和爬山搜索程序．在程序運(yùn)行過(guò)程中得到的結(jié)果之上，結(jié)合FPGA與步進(jìn)電機(jī)接口控制步進(jìn)電機(jī)運(yùn)動(dòng)，帶動(dòng)透鏡組不斷前后移動(dòng)，使得成像位于圖像傳感器的光敏面上．

3．1 以NIOSⅡ?yàn)楹诵牡钠舷到y(tǒng)設(shè)計(jì)

NIOSⅡ是一個(gè)在FPGA上實(shí)現(xiàn)的可裁剪的32位嵌入式軟核處理器，利用Altera公司的可編程片上系統(tǒng)（System on a Programmable Chip，SOPC）技術(shù)設(shè)計(jì)一個(gè)以NIOSⅡ?yàn)楹诵牡钠舷到y(tǒng)，在此系統(tǒng)中，加入滿足Avalon總線的模塊來(lái)實(shí)現(xiàn)所需的功能，硬件資源的配置非常靈活．為了實(shí)現(xiàn)自動(dòng)對(duì)焦，本文所設(shè)計(jì)的片上系統(tǒng)主要由嵌入式處理器、鎖相環(huán)（Phase Locked Loop，PLL）、SDRAM控制器、和串口通訊模塊等組成．

NIOSⅡ執(zhí)行圖像數(shù)據(jù)讀取程序、自動(dòng)對(duì)焦評(píng)價(jià)函數(shù)程序、爬山搜索算法程序和步進(jìn)電機(jī)控制程序；PLL鎖相環(huán)提供系統(tǒng)所需要的時(shí)鐘；SDRAM控制器用于NIOSⅡ?qū)DRAM的控制和訪問(wèn)；圖像緩沖器用來(lái)存放臨時(shí)圖像數(shù)據(jù)；NIOSⅡ通過(guò)串口通訊模塊控制步進(jìn)電機(jī)．

3．2 圖像數(shù)據(jù)讀取區(qū)域和大小的選擇

經(jīng)圖像傳感器獲取的圖像數(shù)據(jù)存儲(chǔ)于SDRAM中，NIOSⅡ通過(guò)片上系統(tǒng)的SDRAM控制器來(lái)讀取圖像數(shù)據(jù)．在數(shù)據(jù)讀取過(guò)程中，針對(duì)不同對(duì)焦區(qū)域要選擇SDRAM中相對(duì)應(yīng)的圖像數(shù)據(jù)，本文選取了分劃板中心作為對(duì)焦區(qū)域．對(duì)焦區(qū)域大小影響到圖像數(shù)據(jù)量，在執(zhí)行對(duì)焦算法過(guò)程中，影響了算法的執(zhí)行速度和自動(dòng)對(duì)焦速度．為了提高自動(dòng)對(duì)焦速度，本設(shè)計(jì)選取對(duì)焦區(qū)域大小為16×16像素和32×32像素的圖像數(shù)據(jù)．

3．3 自動(dòng)對(duì)焦評(píng)價(jià)函數(shù)的實(shí)現(xiàn)

在自動(dòng)對(duì)焦過(guò)程中，對(duì)準(zhǔn)焦位置即圖像是否最清晰的判斷通常利用來(lái)實(shí)現(xiàn)．本文采用的是四鄰域灰度差絕對(duì)值之和函數(shù)，表示為

式（1）以單一像素點(diǎn)與和它相鄰的4個(gè)方向上的像素點(diǎn)的灰度差的絕對(duì)值之和作為自動(dòng)對(duì)焦評(píng)價(jià)函數(shù)值，它的評(píng)價(jià)函數(shù)曲線如圖3所示．由光學(xué)原理可知，在外界條件相同的情況下，光學(xué)系統(tǒng)成像在焦面位置時(shí)圖像最清晰，圖像各像素之間灰度變化最大，此時(shí)式（1）有最大的函數(shù)值Fmax，因此只要找到Fmax出現(xiàn)的位置，對(duì)焦位置也就確定了．

圖3 四鄰域灰度差絕對(duì)值之和函數(shù)評(píng)價(jià)曲線Fig．3 Function evaluation curve of the sum of absolute value of neighbourhood gray difference

3．4 爬山搜索算法的實(shí)現(xiàn)

在自動(dòng)對(duì)焦的過(guò)程中，采用爬山搜索法來(lái)尋找最佳的成像位置［6-7］，會(huì)減少自動(dòng)對(duì)焦時(shí)間．爬山搜索法原理如圖4所示．

圖4 爬山搜索算法示意圖Fig．4 Diagram of mountain-climb searching algorithm

步進(jìn)電機(jī)帶動(dòng)鏡頭組從起始位置M出發(fā)，先確定搜索方向，即向點(diǎn)N方向進(jìn)行，當(dāng)點(diǎn)N的評(píng)價(jià)函數(shù)值大于點(diǎn)M的評(píng)價(jià)函數(shù)值時(shí)，初始搜索方向正確．然后電機(jī)以等步長(zhǎng)帶動(dòng)透鏡組向“山頂”運(yùn)動(dòng)，在此過(guò)程中，物鏡每運(yùn)動(dòng)一步，計(jì)算一次圖像的對(duì)焦評(píng)價(jià)函數(shù)值，如果對(duì)焦評(píng)價(jià)函數(shù)值逐漸增大，說(shuō)明物鏡運(yùn)動(dòng)的方向正確且并未越過(guò)“山頂”．當(dāng)對(duì)焦評(píng)價(jià)函數(shù)值第一次出現(xiàn)減小，說(shuō)明此時(shí)物鏡已經(jīng)越過(guò)頂峰即最佳調(diào)焦點(diǎn)P，到達(dá)了P1位置．此時(shí)系統(tǒng)從準(zhǔn)焦開(kāi)始離焦，圖像也由清晰變的再次模糊．這時(shí)候電機(jī)反向運(yùn)轉(zhuǎn)，減小步長(zhǎng)，帶動(dòng)透鏡組向反方向運(yùn)動(dòng)尋找最佳調(diào)焦點(diǎn)．同理，當(dāng)對(duì)焦評(píng)價(jià)函數(shù)值又一次減小到達(dá)P2點(diǎn)時(shí)，電機(jī)應(yīng)該再一次反轉(zhuǎn)運(yùn)行并繼續(xù)減小步長(zhǎng)，帶動(dòng)鏡頭再次反向搜索．如此反復(fù)搜索，直到電機(jī)的步長(zhǎng)減小到設(shè)定值，搜索結(jié)束．

4 自動(dòng)對(duì)焦系統(tǒng)的測(cè)試結(jié)果及分析

自動(dòng)對(duì)焦系統(tǒng)測(cè)試時(shí)，選用分劃板作為成像目標(biāo)，圖像傳感器分辨率為640×480piexl，選取圖像中心為對(duì)焦區(qū)域．圖像幀頻、對(duì)焦區(qū)域大小與對(duì)焦時(shí)間的測(cè)試結(jié)果見(jiàn)表1．

對(duì)表1中的數(shù)據(jù)結(jié)果分析可知：①圖像幀頻相同的情況下，對(duì)焦區(qū)域大小同時(shí)影響了對(duì)焦時(shí)間和對(duì)焦誤差．具體表現(xiàn)為對(duì)焦區(qū)域越大，對(duì)焦時(shí)間越長(zhǎng)，對(duì)焦誤差越高，反之，對(duì)焦時(shí)間越短，對(duì)焦誤差越低；②對(duì)焦區(qū)域大小相同的情況下，圖像幀頻影響對(duì)焦時(shí)間，但不會(huì)影響對(duì)焦誤差．從表1可以看到，對(duì)焦區(qū)域大小同為16×16piexl的情況下，圖像幀頻為15fps時(shí)，對(duì)焦時(shí)間為5s，對(duì)焦誤差為0．05mm；而圖像幀頻為30fps時(shí)，對(duì)焦時(shí)間為4s，對(duì)焦誤差為0．05mm．對(duì)焦時(shí)間不同，對(duì)焦誤差相同．

綜上所述，在自動(dòng)對(duì)焦過(guò)程中，如果要提高對(duì)焦誤差，就必須增加對(duì)焦區(qū)域大小，要減少對(duì)焦時(shí)間，就必須提高圖像幀頻或者減小對(duì)焦區(qū)域大?。?/p>

表1 自動(dòng)對(duì)焦系統(tǒng)測(cè)試結(jié)果Tab．1 Test results pirel focus system

5 結(jié) 論

通過(guò)對(duì)本文所設(shè)計(jì)自動(dòng)對(duì)焦系統(tǒng)進(jìn)行測(cè)試得出結(jié)論為

1）該系統(tǒng)能夠?qū)崿F(xiàn)自動(dòng)對(duì)焦；對(duì)焦誤差受到對(duì)焦區(qū)域大小的影響．當(dāng)兩種對(duì)焦區(qū)域大小之比為1／4時(shí)，對(duì)焦誤差的比值為2．5．

2）對(duì)焦時(shí)間受到圖像幀頻和對(duì)焦區(qū)域大小的影響；對(duì)焦區(qū)域大小同時(shí)影響了對(duì)焦誤差和對(duì)焦時(shí)間．該系統(tǒng)可以作為實(shí)現(xiàn)嵌入式圖像采集系統(tǒng)和嵌入式視覺(jué)系統(tǒng)自動(dòng)對(duì)焦的一種方法．

［1］ 尤玉虎，劉通，劉佳文．基于圖像處理的自動(dòng)對(duì)焦技術(shù)綜述［J］．激光與紅外，2013，43（2）：132．YOU Yu-hu，LIU Tong，LIU Jia-wen．Survey of the Auto-Focus Methods Based on Image Processing［J］．Laser ＆Infrared，2013，43（2）：132．（in Chinese）

［2］ 李奇．?dāng)?shù)字自動(dòng)對(duì)焦技術(shù)的理論及實(shí)現(xiàn)方法研究［D］．杭州：浙江大學(xué)，2004．LI Qi．Studies on the Theory and Implementation Method of Digital Auto-Focus Thchnology［D］．Hangzhou：Zhejiang University，2004．（in Chinese）

［3］ 李保．基于FPGA的數(shù)字自動(dòng)對(duì)焦算法的研究與實(shí)現(xiàn)［D］．哈爾濱：哈爾濱工業(yè)大學(xué)，2008．LI Bao．Study and Implementation of Digital Auto-Focusing Algorithm Based on FPGA［D］．Harbin：Harbin Institute of Technology，2008．（in Chinese）

［4］ 彭方．基于DSP的自動(dòng)對(duì)焦算法研究［D］．西安：西安電子科技大學(xué)，2011．PENG Fang．Stuides of Auto-Focusing Algorithms Based on DSP［D］．Xi’an：Xidian University，2011．（in Chinese）

［5］ 陳參寧．基于ARM-Linux的數(shù)字自動(dòng)對(duì)焦系統(tǒng)的研究與實(shí)現(xiàn)［D］．廣州：華南理工大學(xué)，2012．CHEN Can-ning．Research and Implementation of Digital Auto-Focusing System Based on ARM-Linux［D］．Guangzhou：South China University of Technology，2012．（in Chinese）

［6］ 王劍華，鄧華秋，陳參寧．?dāng)?shù)字自動(dòng)對(duì)焦中的搜索算法研究［J］．傳感器與微系統(tǒng)，2012，31（5）：51．WANG Jian-hua，DENG Hua-qiu，CHEN Can-ning．Research on Search Algorithm for Digital Auto-Focus［J］．Transducer and Microsystem Technologies，2012，31（5）：51．（in Chinese）

［7］ 鄭玉珍．自動(dòng)對(duì)焦中的優(yōu)化爬山搜索算法［J］．浙江科技學(xué)院學(xué)報(bào)，2005，17（3）：171．ZHENG Yu-zhen．Optimized Mountain-Climb Searching in Auto-Focusing［J］．Journal of Zhejiang University of Science and Technology，2005，17（3）：171．（in Chinese）