車載紅外熱成像圖像處理系統(tǒng)的設(shè)計與實現(xiàn)

蔣奮強，何先燈，陳 南，蘇慶旦

?

車載紅外熱成像圖像處理系統(tǒng)的設(shè)計與實現(xiàn)

蔣奮強，何先燈，陳 南，蘇慶旦

（西安電子科技大學(xué)通信工程學(xué)院，陜西 西安 710071）

分析了車載視覺增強系統(tǒng)中紅外熱成像的特征及其圖像處理的技術(shù)難點，并設(shè)計了一種車載紅外熱成像圖像處理系統(tǒng)。首先，在評估了系統(tǒng)的靜態(tài)資源和動態(tài)資源的消耗后，給出了以FPGA為核心處理單元、ARM為控制單元的系統(tǒng)硬件架構(gòu)。然后介紹了圖像處理系統(tǒng)的軟件設(shè)計，并提出了一種用于系統(tǒng)調(diào)試的通信協(xié)議幀結(jié)構(gòu)。實測結(jié)果表明，該紅外熱成像圖像處理系統(tǒng)的具有良好的實時性和可靠性。

車載視覺增強系統(tǒng)；紅外熱成像；圖像處理

0 引言

車載視覺增強系統(tǒng)指的是采用某些方法來拓寬司機裸眼可見范圍的一種新系統(tǒng)，可以在夜間、霧天、煙塵、雨雪、對面車燈眩光等一切能見度低的情況下產(chǎn)生清晰圖像，令司機能夠提前知道前方的路面狀況，大大增加行車安全性。目前車載視覺增強系統(tǒng)已成功從原來的軍用領(lǐng)域轉(zhuǎn)入民用領(lǐng)域[1]。

眾所周知，交通事故的發(fā)生不僅會直接威脅人們的生命安全，還會帶來巨大的經(jīng)濟損失。夜間及不良天氣是造成交通事故的主要原因之一。紅外熱成像技術(shù)在車載視覺增強系統(tǒng)中的興起與應(yīng)用，為解決上述問題提供了新的方法。紅外熱成像技術(shù)是利用待測目標自身發(fā)射出的紅外輻射來成像，工作時無需借助其他光源，遠距離工作能力強，穿透能力強，成像質(zhì)量極高。與傳統(tǒng)成像技術(shù)相比，紅外熱成像技術(shù)可以擺脫黑暗光線的限制，具有抗干擾性能強、適應(yīng)環(huán)境能力強和識別偽裝能力強等諸多優(yōu)點[2-3]。因此，該技術(shù)能夠在夜間及不良天氣情況下產(chǎn)生清晰的路面圖像，可以有效提高汽車在行駛過程中的安全性，避免道路交通事件的發(fā)生。

紅外圖像是紅外熱成像技術(shù)的產(chǎn)物。由于將紅外熱輻射轉(zhuǎn)化為紅外圖像需要經(jīng)過復(fù)雜的信息采集和處理過程，包括大氣傳輸、光學(xué)系統(tǒng)、光電轉(zhuǎn)換、數(shù)模轉(zhuǎn)換和數(shù)字信號處理等過程，因此紅外圖像具有空間分辨率較差、圖像對比度較低和圖像存在非均勻性甚至盲元的缺點[4]。顯然，這些問題影響了紅外圖像的視覺效果，并且制約了紅外熱成像技術(shù)在具體工程實踐中的應(yīng)用。

本文設(shè)計了一種新型車載熱成像系統(tǒng)。該系統(tǒng)方案充分評估了系統(tǒng)的靜態(tài)資源和動態(tài)資源的消耗，以FPGA和ARM為核心構(gòu)建硬件平臺，采用圖像處理和系統(tǒng)控制并行工作的軟件設(shè)計，并提出了一種用于系統(tǒng)調(diào)試的通信協(xié)議幀結(jié)構(gòu)。通過NETD測試和場景成像試驗，驗證了本文所提出的系統(tǒng)可以有效提高紅外圖像的質(zhì)量，并且能夠?qū)崟r顯示清晰細膩的圖像，可以很好地滿足車載設(shè)備的要求。

1 硬件設(shè)計與實現(xiàn)

紅外熱成像系統(tǒng)的通用設(shè)計方案如圖1所示。其主要包括五大功能模塊：紅外探測器模塊、非均勻校正模塊、盲元補償模塊、圖像增強模塊、驅(qū)動輸出模塊。系統(tǒng)通過紅外探測器采集外界場景的熱輻射，利用其內(nèi)部的讀出電路將熱輻射轉(zhuǎn)化為電信號，并以模擬或者數(shù)字方式輸出該信號，完成紅外圖像數(shù)據(jù)的采集。然而，由于受到紅外焦平面陣列研制工藝和水平的限制，紅外探測器的像元響應(yīng)率不一致，引起圖像的非均勻性和盲元問題。此外，物體表面溫差不明顯、整個探測范圍內(nèi)溫差變化大以及系統(tǒng)的熱噪聲等問題，都會導(dǎo)致圖像細節(jié)模糊，因此需要對采集的圖像數(shù)據(jù)做進一步處理，包括非均勻校正、盲元補償、圖像增強等一系列處理過程[5]。完成圖像數(shù)據(jù)處理后，將其送入驅(qū)動輸出模塊完成圖像數(shù)據(jù)的視頻編碼操作，最終將編碼的視頻流輸出到監(jiān)視器顯示。

圖1 紅外熱成像系統(tǒng)通用設(shè)計方案

圖像數(shù)據(jù)處理過程中算法運算量大，現(xiàn)有技術(shù)大多采用DSP陣列結(jié)構(gòu)或者DSP＋FPGA架構(gòu)來設(shè)計實時圖像處理系統(tǒng)。ARM處理器具有高性能、低功耗、低價格、易開發(fā)等諸多優(yōu)勢，較之DSP更適合應(yīng)用于民用車載設(shè)備中。因此，本文所設(shè)計的系統(tǒng)采用FPGA＋ARM架構(gòu)來實現(xiàn)，其中以FPGA為核心圖像處理單元，ARM為控制單元。為降低系統(tǒng)成本，本系統(tǒng)采用內(nèi)部集成AD的紅外探測器，可以直接輸出數(shù)字信號，且功耗低、集成度高、量化精度滿足要求。

系統(tǒng)資源評估是硬件方案設(shè)計的重要過程，通過評估靜態(tài)資源和動態(tài)資源的消耗，設(shè)計出合理的硬件系統(tǒng)方案。從紅外圖像數(shù)據(jù)的采集、處理到驅(qū)動輸出，系統(tǒng)資源的消耗主要發(fā)生在圖像數(shù)據(jù)處理過程，其中主要包括非均勻校正、盲點補償和圖像增強。

1.1 靜態(tài)資源評估

由于FPGA不具備靜態(tài)存儲功能，因此需要提供滿足存儲空間要求的外部存儲芯片F(xiàn)LASH來存儲這些參數(shù)。

1.2 動態(tài)資源評估

動態(tài)資源評估主要是評估系統(tǒng)在非均勻校正、盲元補償和圖像增強3個過程中所需的動態(tài)資源。由于這些過程中所采用的算法空間復(fù)雜度較大，普通的FLASH存儲芯片數(shù)據(jù)吞吐量不能滿足算法的計算需求，因此需要采用大容量高速存儲芯片。雖然FPGA內(nèi)部提供的內(nèi)存能夠達到算法的速率指標，但由于算法所需的存儲資源開銷太大，而FPGA內(nèi)部提供的內(nèi)存資源有限，所以需采用外置高速大容量存儲器以滿足算法對動態(tài)資源的需求。

本系統(tǒng)圖像處理中的3個過程分別采用了兩點校正算法[8]、基于雙參考輻射源的盲元自動檢測算法[9]和平臺直方圖均衡算法[10]。根據(jù)系統(tǒng)的紅外探測器的參數(shù)計算出系統(tǒng)需要的最大吞吐量、最小動態(tài)存儲空間和最小FPGA緩存空間。

1.3 方案設(shè)計

本系統(tǒng)硬件平臺的結(jié)構(gòu)框圖如圖2所示。系統(tǒng)采用FPGA＋ARM架構(gòu)，以FPGA為核心圖像處理單元，ARM為控制單元。FPGA連接大容量DDR2 SDRAM和FLASH存儲芯片。DDR2 SDRAM存儲器用于存儲圖像和算法數(shù)據(jù)，為FPGA運行復(fù)雜圖像處理算法提供保證。FLASH存儲器用于存儲程序數(shù)據(jù)和靜態(tài)參數(shù)。FPGA與ARM之間通過串口進行通訊。

考慮到今后的擴展應(yīng)用，并綜合資源消耗情況，最終選擇CycloneIV E系列的EP4CE75F23I7[11]作為本系統(tǒng)的核心處理器。該芯片包含75K Les，305個M9K存儲模塊，2745kb嵌入式存儲器，200個18×18的專用乘法器，并且該芯片對外部存儲DDR2 SDRAM有專門的硬件訪問。DDR2 SDRAM具有較高的工作頻率，并允許在時鐘上升沿和下降沿讀寫數(shù)據(jù)，總線數(shù)據(jù)傳輸速率是時鐘頻率的兩倍。本系統(tǒng)采用Micron公司的MT47H35M16-5E[12]作為外部內(nèi)存，該芯片內(nèi)存容量為512Mbits，總線數(shù)據(jù)位寬為16bit，最高時鐘頻率為200MHz。EP4CE75F23I7芯片支持的DDR2最高時鐘頻率為167MHz，完全可以滿足本系統(tǒng)動態(tài)內(nèi)存和吞吐量的要求。

圖2 硬件平臺結(jié)構(gòu)框圖

系統(tǒng)的控制單元芯片選用ST公司的STM32F103芯片。該芯片是32位ARM微控制器，基于Cortex-M3內(nèi)核，最高72MHz工作頻率，具有高性能、低成本、低功耗、易開發(fā)的特點[13]?？刂茊卧饕獙崿F(xiàn)系統(tǒng)開關(guān)機、系統(tǒng)初始化、系統(tǒng)調(diào)試參數(shù)配置、溫度控制、自動校正控制和人機交互等功能。

2 軟件設(shè)計

本文介紹了一種基于FPGA＋ARM架構(gòu)硬件平臺的軟件設(shè)計。將圖像處理系統(tǒng)和操作控制系統(tǒng)兩個功能模塊充分融合，使兩者協(xié)調(diào)配合，有效提高系統(tǒng)的可靠性和穩(wěn)定性。

2.1 通信協(xié)議幀設(shè)計

系統(tǒng)通信示意圖如圖3所示，上位機、FPGA和ARM之間通過RS485通信接口連接。FPGA和ARM在調(diào)試整機的過程中均需要和上位機通信，本文為此設(shè)計了一套通信協(xié)議幀。

圖3 系統(tǒng)通信示意圖

在調(diào)試模式中，ARM和FPGA之間的通信需要上位機指令控制，這樣避免了上位機指令和ARM自動控制指令的沖突，實現(xiàn)了三者無沖突通信。

系統(tǒng)中FPGA需要傳輸圖像數(shù)據(jù)到上位機PC，相關(guān)數(shù)據(jù)幀結(jié)構(gòu)如表1所示。

表1 下位機FPGA到上位機PC的數(shù)據(jù)幀結(jié)構(gòu)

下位機FPGA到上位機PC的數(shù)據(jù)幀結(jié)構(gòu)包括：起始位（起始位占用5個字節(jié)，用于識別包頭）、包長位（包長表示除去起始位、包長位和校驗位的其他數(shù)據(jù)的字節(jié)長度，包長位占用2個字節(jié)）、數(shù)據(jù)位（數(shù)據(jù)表示有效圖像數(shù)據(jù)，占用768個字節(jié)，每個16bit像素數(shù)據(jù)分兩個字節(jié)發(fā)送，先發(fā)送低位字節(jié)再發(fā)送高位字節(jié)）、校驗位（校驗位采用單字節(jié)的校驗和，占用2個字節(jié)，先發(fā)送高位字節(jié)，再發(fā)送低位字節(jié)）。一幀數(shù)據(jù)共777個字節(jié)。

ARM、FPGA和上位機PC三者之間通信采用相同的命令協(xié)議幀結(jié)構(gòu)。如表2所示，一幀5個字節(jié)包括：起始位（起始位占用1個字節(jié)，用于識別包頭）、命令位（占用1個字節(jié)，表示命令類型）、命令參數(shù)（命令參數(shù)a和命令參數(shù)b分別占用1個字節(jié)，用于傳遞相關(guān)命令的參數(shù)）、校驗位（校驗位占用1個字節(jié)，采用單字節(jié)的校驗和，檢驗位為校驗和與0x7F按位與的結(jié)果，以保證與包頭不同）。

表2 命令幀結(jié)構(gòu)

基于所設(shè)計的通信協(xié)議幀，F(xiàn)PGA、ARM和上位機PC可以進行高效的通信，實現(xiàn)了整個圖像處理系統(tǒng)的順利裝配和調(diào)試。

2.2 核心處理單元FPGA功能設(shè)計

FPGA功能模塊設(shè)計如圖4所示，主要包括命令解析模塊、通信調(diào)試模塊、圖像采集模塊、圖像處理模塊和圖像輸出驅(qū)動模塊。

命令解析模塊主要用于通信命令解析和圖像數(shù)據(jù)上傳。基于上文中設(shè)計的通信協(xié)議幀，F(xiàn)PGA在接收到來自ARM和上位機的命令幀后，命令解析模塊解析命令幀，并把相關(guān)命令參數(shù)傳遞到通信調(diào)試模塊。通信調(diào)試模塊接收到命令參數(shù)后，根據(jù)命令的類型，控制紅外圖像處理算法單元的相應(yīng)操作。

圖4 FPGA功能模塊簡圖

圖5 圖像處理模塊簡圖

圖像采集模塊實現(xiàn)了與紅外探測器的接口，完成紅外圖像的采集。圖像處理模塊包括如圖5所示的非均勻校正、盲元補償和圖像增強等算法功能。圖像采集模塊采集到的紅外原始數(shù)據(jù)經(jīng)過紅外圖像處理算法單元后，得到處理后的紅外增強數(shù)據(jù)，最后由圖像輸出驅(qū)動模塊輸出圖像。

2.3 控制單元ARM的程序設(shè)計

控制單元模塊采用ARM內(nèi)核微處理器，主要實現(xiàn)了整個系統(tǒng)的控制功能。圖6是ARM程序設(shè)計的流程簡圖?？刂茊卧獙崿F(xiàn)了系統(tǒng)開關(guān)機、系統(tǒng)初始化、系統(tǒng)調(diào)試參數(shù)配置、溫度控制、自動校正控制和人機交互等功能。

系統(tǒng)初始化是系統(tǒng)開機非常重要的過程，通過設(shè)置系統(tǒng)板載參考電壓（用于控制紅外探測器的工作等）、配置視頻驅(qū)動芯片、啟動紅外探測器并設(shè)置系統(tǒng)開機的配置參數(shù)（系統(tǒng)通過調(diào)試得到的參數(shù)，掉電不失）完成整個系統(tǒng)的開機啟動過程。開機后系統(tǒng)的主程序主要包括協(xié)議解析、自動除霜控制、自動校正控制和人機交互等功能。以上控制過程中包含了各種中斷。

在程序設(shè)計和系統(tǒng)調(diào)試過程中，通過多次試驗，驗證了系統(tǒng)程序的魯棒性和可靠性。本文設(shè)計的圖像處理系統(tǒng)的場頻達到了50Hz。

圖6 ARM程序流程簡圖

3 試驗結(jié)果

通過對系統(tǒng)進行NETD測試、場景成像測試等試驗后，完成了對系統(tǒng)的調(diào)試。在/1, 300K, 50Hz條件下，系統(tǒng)NETD測試結(jié)果為小于70mK，表明系統(tǒng)具有良好的性能；系統(tǒng)對實際場景的成像和顯示效果均良好。

圖7是對系統(tǒng)進行標定時采集的圖像。系統(tǒng)標定采用的高溫為50℃，低溫為0℃，利用黑體設(shè)備對系統(tǒng)進行調(diào)試，采集了系統(tǒng)在2種不同溫度條件下的背景圖像，然后根據(jù)兩點校正算法計算出兩點校正參數(shù)矩陣。高溫下的背景圖像和低溫下的背景圖像分別如圖7(a)、7(b)所示，校正后的背景圖像如圖7(c)所示。

圖8顯示了在室內(nèi)環(huán)境下，本系統(tǒng)對天花板成像后進行后續(xù)圖像處理的過程。系統(tǒng)的紅外探測器經(jīng)過非均勻校正后，可以獲得如圖8(a)所示質(zhì)量較好的圖像；然后再進行盲元補償，獲得如圖8(b)所示的圖像；最后經(jīng)過圖像增強算法處理獲得如圖8(c)所示的圖像。從試驗效果來看，所設(shè)計的系統(tǒng)消除了圖像中的壞點、明顯提升了對比度并完成了數(shù)據(jù)流的實時處理。

圖9是外場試驗采集的圖像，系統(tǒng)分別在校園內(nèi)道路和城市道路上進行了測試。試驗結(jié)果中圖像清晰細膩，道路上的行人、車輛和路燈清晰可見（見圖中框出的部位），表明系統(tǒng)對實際場景的成像和系統(tǒng)運行的效果均良好。

圖7 黑體高低溫背景圖像和兩點校正后背景圖像

圖8 盲元補償前后的天花板圖像

圖9 道路場景測試圖像

4 結(jié)束語

本文討論了一種車載紅外圖像處理系統(tǒng)的軟硬件設(shè)計以及實現(xiàn)。該圖像處理系統(tǒng)采用了FPGA＋ARM的硬件構(gòu)架，以及圖像處理和系統(tǒng)控制并行工作的軟件設(shè)計。經(jīng)過多次試驗，驗證了該系統(tǒng)的可靠性和穩(wěn)定性。系統(tǒng)能夠連續(xù)穩(wěn)定顯示清晰細膩的圖像，滿足車載設(shè)備的要求，適合應(yīng)用于民用車載輔助駕駛系統(tǒng)。

[1] 王遠方舟, 石曉光, 白玉琢, 等. 民用車載視覺增強系統(tǒng)發(fā)展現(xiàn)狀[J]. 紅外技術(shù), 2012, 34(8): 490-495.

Wang Yuanfangzhou, Shi Xiaoguang, Bai Yuzhuo, et al. Statuses and trends on night vision enhancement systems[J]., 2012, 34(8): 490-495.

[2] 蔡毅, 湯錦亞. 對紅外熱成像技術(shù)發(fā)展的幾點看法[J].紅外技術(shù), 2000, 22(2): 2-6.

CAI Yi, TANG Jinya. Some Opinions on the Development of Infrared Thermal Imaging Technology[J]., 2000, 22(2): 7-10.

[3] 劉婷婷. 紅外圖像細節(jié)增強算法與實現(xiàn)的研究[D]. 成都: 電子科技大學(xué), 2014.

Liu Tingting. Research on Detail Enhancement Algorithm and Implementation for Infrared Images[D]. Chengdu: University of Electronic Science and Technology of China, 2014.

[4] 范寶石. 基于紅外相機的車載夜視系統(tǒng)研究[D]. 長春: 長春理工大學(xué), 2013.

Fan Baoshi. Research on Night Vision on Vehicle base on Infrared Camera[D]. Changchun: Changchun University of Science and Technology, 2013.

[5] Liu B, Wang X, Jin W, et al. Infrared image detail enhancement based on local adaptive gamma correction[J]., 2012, 10(2): 021002.

[6] 吳和然, 張寧, 周云, 等. 基于 FPGA&FLASH 實現(xiàn)非制冷 IRFPA 實時兩點校正的研究[J]. 紅外技術(shù), 2011, 33(4): 202-206.

WU Heran, ZHANG Ning, ZHOU Yun, et al. Research of Uncooled-IRFPA Real-time Two Point Nonuniformity Correction Base on FPGA & FLASH [J]., 2011, 33(4): 202-206.

[7] 夏玫, 顧國華, 陳錢, 等. IRFPA 兩點校正的定標溫度選擇方法研究及實現(xiàn)[J]. 紅外技術(shù), 2011, 33(3): 151-154.

XIA Mei, GU Guohua, CHEN Qian, et al. The Research and Realization of Calibration Temperature Selection on Two-point Non-Uniformity Correction[J]., 2011, 33(3): 151-154.

[8] 張強. 紅外圖像非均勻性校正算法優(yōu)化研究[D]. 重慶: 重慶郵電大學(xué), 2013.

Zhang Qiang. Study on Optimization of Infrared Image Nonuniformity Correction Algorithm[D]. Chongqing: Chongqing University of Posts and Telecommunications, 2013.

[9] 周慧鑫, 殷世民, 劉上乾, 等. 紅外焦平面器件盲元檢測及補償算法[J]. 光子學(xué)報, 2004, 33(5): 598-600.

Zhou Huixin, YIN Shimin, LIU Shangqiang, et al. Algorithm of blind pixels auto-searching and compensation for IRFPA[J]., 2004, 33(5): 598-600.

[10] Vickers V E. Plateau equalization algorithm for real-time display of high-quality infrared imagery[J]., 1996, 35(7): 1921-1926.

[11] Altera.[M]. 2013.

[12] Micron. “512Mb: x4, x8, x162”, 512Mb DDR2.pdf-Rev.R[R]. 2010.

[13] STMicroelectronics. STM32F103xCDE.11[R]. 2009.

Design and Implementation of a Vehicle Infrared Image Processing System

JIANG Fenqiang，HE Xiandeng，CHEN Nan，SU Qingdan

(,,710071,)

In this paper, the characteristics and technical difficulties of image processing for infrared thermal imager in the vehicle vision enhancement system are discussed, and a vehicle infrared thermal image processing system is designed. Firstly, after the static and dynamic resource consumption of the system evaluated a hardware architecture based on Field Programmable Gate Array(FPGA) and Acorn RISC Machine(ARM) is given. In this architecture, FPGA is used as core processing unit, and ARM is used as control unit. Then, the software design of the image processing system is introduced, and a communication protocol frame structure for system debugging is proposed. Finally, the practical experiments demonstrate the good real-time and reliability performance of proposed system.

driver's vision enhancer，infrared thermal imaging，image process

TN919.5

A

1001-8891(2017)05-0389-05

2016-12-30；

2017-04-18。

蔣奮強（1991-），男，江蘇人，碩士研究生，主要研究方向：車聯(lián)網(wǎng)及其應(yīng)用技術(shù)研究。

中央高?；究蒲袠I(yè)務(wù)費資助（K5051201022）。