紅外與可見光雙攝像機標定方法研究

胡廣勝+王青+單清群

摘 要：隨著紅外熱成像技術的發(fā)展，紅外熱成像檢測技術作為一種簡單、無損、非接觸的檢測方法，在許多領域得到廣泛的應用，已經(jīng)得到國內(nèi)外學者的重視與研究，相關研究的熱點與重點主要是紅外熱成像和可見光成像的標定方法。文章基于熱成像原理，設計了一套用于紅外和可見光攝像機標定平臺，并利用OpenCV函數(shù)開發(fā)了一套雙目標定系統(tǒng)。該系統(tǒng)能使可見光攝像機標定的結(jié)果準確、迅速。

關鍵詞：標定；標定臺；紅外熱成像；OpenCV

前言

配電盤是軌道車輛的核心部件，包含了電氣電路中八成以上的核心部件和電氣接點，控制著車輛、信號及電能傳輸?shù)雀鞣N電氣功能，但實際中工藝復雜，施工難度極高，接線端子數(shù)量龐大，檢驗出的結(jié)果有效性差。在進行軌道車輛的配電柜生產(chǎn)過程中，由于工序復雜，員工在工作時會出現(xiàn)諸如線性錯誤、線號錯誤、端子壓接不規(guī)范（虛接、錯接、漏接等）、出線位置不規(guī)范、器件型號混裝、器件位置不當、錯裝、漏裝器件等問題，造成由于配線、壓線問題而出現(xiàn)起火、短路或接地缺陷等。

隨著紅外熱成像技術的發(fā)展，在生產(chǎn)中該技術的非接觸的優(yōu)點被廣泛應用。紅外熱成像技術基于光電轉(zhuǎn)換原理，把物體通過加熱產(chǎn)生的熱輻射轉(zhuǎn)換為電信號，并通過計算得到相關參數(shù)[1]。但紅外熱成像畫面與可見光相比，清晰度比較差，因此為了信息參數(shù)的精確性，研究人員考慮將紅外熱成像與可見光圖像進行融合，并將所得到的信息進行歸納整合，得到精確的數(shù)據(jù)與結(jié)論[2-4]。

在進行圖像融合之前，首先進行攝像機的標定：即確定兩臺攝像機的內(nèi)外參數(shù)配置。圖像配準是確定處于同一場景下來自不同視角、不同時間甚至不同成像傳感器的兩或多幅圖像之間的空間變換關系的技術。目前圖像配準的方法主要有線性標定法、非線性攝像機標定法和自標法等。但是，由于圖像標定受到各種外部條件的限制，目前仍然沒有一套快速、準確的圖像標定系統(tǒng)以滿足實際的需求。本文通過研究攝像機標定技術原理，設計出一套準確度很高的紅外與可見光攝像機標定系統(tǒng)。

1 標定圖片采集

一般情況下標定是以確定形狀及尺寸的模板進行標定。與可見光相機直接提取標定板的紋理特征不同，紅外熱成像技術是通過對被測物體發(fā)射的紅外輻射進行特征提取、圖形處理得到被測物紅外圖像，因此必須以一種特殊的方式對紅外熱成像樣板進行采集。當今學者對于紅外熱成像樣本采集，取得了很大的進步與突破。如S.Vidas等人通過對金屬薄板進行加熱，將其貼附在標定紙板上，將標定板上的特殊位置選定為基準，進行樣本采集，完成紅外攝像機內(nèi)外參數(shù)標定[5]。張小玉等人通過不同導熱體加熱后產(chǎn)生的熱輻射區(qū)不同，集成了一個紅外熱成像標定箱，通過其加熱后產(chǎn)生的變化明顯的熱輻射區(qū)，完成紅外攝像機內(nèi)外參數(shù)標定[6]。R.Yang等人設計了新型紅外攝像標定裝置，可同時對三個目標進行標定。用深色塑料板做成標定板，在標定板上均勻挖出孔，將發(fā)熱的燈泡放入標定板上的孔中，保證兩臺攝像機和紅外熱像儀能準確定位到上述孔，裝置中兩臺可見光攝像機構成了一個雙目視覺系統(tǒng)，能夠?qū)硕ò迳系目拙_定位，再計算出相應小孔的坐標，完成紅外熱像儀的內(nèi)外參數(shù)的標定，但此方法的準備及制作過程繁瑣，所得標定結(jié)果準確度較低[7]。

本文設計一個簡單紅外和可見光圖像圖像標定的平臺，能夠?qū)μ幱谕粋€視場中采集到的可見光圖像和紅外熱成像圖像進行精確的標定，建立紅外熱圖像與可見光圖像之間的一一映射關系，比現(xiàn)有的標定平臺位置精度要高，同時紅外熱成像熱敏感區(qū)域溫度可調(diào)、可控，同時可以實現(xiàn)對紅外溫度采集的修正和標定。

2 攝像機標定原理

在視覺圖像測量應用中，為了得到空間物體某點的三維幾何信息與其在圖像中對應點之間的相互關系，并利用攝像機得到的圖像信息來計算空間中物體的幾何位置，就必須建立攝像機的成像幾何模型，包括攝像機的內(nèi)外參數(shù)等。攝像機參數(shù)的標定在計算機視覺應用中是非常重要的一步，其標定結(jié)果的精度及算法的穩(wěn)定性直接影響到以后測量結(jié)果的準確性。

本文采用線性攝像機數(shù)學方程來確定圖像成像的三維空間關系。以攝像機為原點建立笛卡爾坐標系，得到其與圖像坐標系投影關系，如圖2所示。

在圖像上設中心像素坐標為（u0，v0），圖像中每個像素點在坐標軸X、Y方向上的物理長度為dx、dv，則在兩坐標系下圖像像素點的關系為

（x，y）為圖像幾何單位坐標，（u，v）為圖像像素單位坐標。

在線性攝像機數(shù)學方程中，利用旋轉(zhuǎn)矩陣【R】、平移向量【T】來表示攝像機坐標系和世界坐標系之間的的關系，如式（2）所示。

式中（Xw，Yw，Zw，1）和（Xc，Yc，Zc，1）為空間任意一點P在世界坐標系和攝像機坐標系下的齊次坐標。

若在空間中存在點P（Xw，Yw，Zw），其在攝像機空間坐標為（Xc，Yc，Zc）。將原點Oc和P連線與圖像相交于p點，即為P點在圖像上的投影位置，圖像平面和光學中心的距離設為有效焦距f。根據(jù)數(shù)學方程有如下關系。

用齊次坐標與矩陣可表示為

將公式（1）與公式（2）帶入（5）式中，可得在廣義坐標系下，P點和投影p點的位置關系。

式中 M1為內(nèi)參數(shù)矩陣；M2為外參數(shù)矩陣。

3 標定平臺設計

本文設計標定平臺能同時標定可見光相機和紅外熱成像儀，主要包括黑白分明的漫反射棋盤格裝置（內(nèi)附發(fā)熱元件、測溫元件和連接導線等）和溫控裝置等。所述發(fā)熱元件集成在黑白格的角點處，所述測溫元件和發(fā)熱元件通過釬焊的方式固接在一起，通過溫控裝置控制發(fā)熱元件的導通，使黑白角點處的發(fā)熱元加熱。黑白棋盤格的機體由絕熱元件組成，通過溫控裝置控制黑白角點處的溫度。雙通道的成像系統(tǒng)（集成了可見光成像傳感器和紅外熱成像傳感器的雙目相機）通過采集該黑白棋盤格表面的可見光圖片和熱敏感點圖像，實現(xiàn)雙目相機參數(shù)的標定。標定平臺設計如圖3、4所示。

當需要進行標定時，通過可見光相機和紅外相機同時采集溫控棋盤格表面的漫反射貼紙，可見光中可以拍攝黑白相間的可見光圖像，紅外熱像儀獲取的灰度圖片為帶有大約0.1mm超亮白點的黑底紅外熱圖，通過溫控儀可以調(diào)節(jié)白點的亮度，使其具有更高的辨識度，同時可以對紅外熱像儀的溫度值進行標定和校核。利用發(fā)熱元件在可見光圖像中的實際位置關系，可對兩種相機的參數(shù)進行分別標定，建立兩種視覺系統(tǒng)下的意義映射關系。

4 標定實驗與結(jié)果分析

4.1 基于OpenCV的攝像機標定

OpenCV是一個基于BSD許可（開源）發(fā)行的跨平臺計算機視覺庫，輕量級而且高效，由一系列 C 函數(shù)和少量 C++ 類構成，同時提供了Python、Ruby、MATLAB等語言的接口，實現(xiàn)了圖像處理和計算機視覺方面的很多通用算法。在OpenCV中， 攝像機的標定是利用平面方格作為標定模板，進行多個方向的測量，其中攝像機與標定板的位置是不固定的，可自由移動。在標定模板的周圍，預留了一定寬度的黑色區(qū)域是為了增加角點提取的可提取率 。OpenCV出力的函數(shù)，滿足計算準確、運行速度快、過程簡單等高效的標定算法。

4.2 角點提取

獲取圖像之后就需要對其進行角點檢測，角點提取成功是否與輸入模板圖像的質(zhì)量有重要關系，因此在提取角點之前要對其進行一定的增強處理來提高角點檢測的成功率。角點提取是由函數(shù) cv Find Chessboard Corners來完成，如果該函數(shù)返回值為1，則表示在該幅圖像上所有的內(nèi)角點都已完全提取出來了，此時說明角點提取成功；若返回值為0，則說明角點提取失敗，這樣的圖像就不能在標定計算中使用，則要將其丟棄，并進行下一幅圖像的采集。

攝像機標定參數(shù)的精度會與之前所得到的角點精度與直接關系，其影響成正比。因此為了更精確的攝像機標定參數(shù)，必須對所提取角點的精度加以控制。

4.3 標定結(jié)果的顯示與保存

在標定實驗中，，可以利用函數(shù)cv Show Image（）將需要觀察的角點的圖像顯示出來。提取后的角點如圖5所示。最終標定的各種參數(shù)在程序界面中顯示，為了方便以后目標距離計算時使用這些參數(shù)，并將其結(jié)果以數(shù)組的形式保存在文件中。Open CV 提供了大量用于文件處理的數(shù)據(jù)結(jié)構及函數(shù)，利用這些函數(shù)可以很方便地進行文件的讀寫操作。

4.4 實驗結(jié)果分析

根據(jù)以上的標定原理及方法，通過多次實驗證明此標定運行穩(wěn)定，標定精度較高，而且運行速度較快，具有較強實用性。用位置固定的攝像機采集了在不同角度的多組方格標定模板圖像，校準后的圖形如圖6所示。

上述結(jié)論達到了預期的目標，將雙目攝像機的參數(shù)校正后，可以實現(xiàn)將左右攝像機拍攝的圖像進行位置的變換、空間的平移、疊加等，且變換后的兩個圖像的配準也與預期的目標基本吻合。

5 結(jié)束語

本文詳細敘述了紅外成像與可見光成像的標定方法，結(jié)合紅外成像原理，設計了紅外和可見光攝像機標定平臺?；贠penCV的函數(shù)完成了雙目視覺系統(tǒng)攝像機的標定，使用這種標定方法在進行兩圖像標定時，可見光圖像和熱成像圖像在空間上坐標相同，紅外熱敏感區(qū)域小于0.1mm，處于可見光圖像的角點，大大提高了匹配精度；棋盤格標定板的紅外熱敏感區(qū)域的溫度可控，分辨率為0.1K，范圍25℃～200℃，提高了熱成像圖像的顯示精度及對熱敏感區(qū)溫度控制進度；本裝置中支撐黑白格和發(fā)熱元件的基體采用絕熱材料制作，降低了熱傳導，提高了紅外熱敏感區(qū)域的分辨率；本裝置的設計使得紅外熱圖和可見光圖可以同時標定，標定算法和操作流程通用，能實現(xiàn)快速標定；本平臺的中的發(fā)熱元件和測溫元件通過釬焊的方式固接在一起，能夠快速的響應溫度變化，提高系統(tǒng)的控溫精度。

參考文獻

[1]陳炎華.用于紅外雙目視覺的邊緣增強算法研究[J].激光與紅外，2012，5（1）：526-529.

[2]任貴文.基于OPen CV的紅外與可見光雙攝像標定方法研究[J].科學技術與工程，2016：16（3）：211-214.

[3]汪國威.基于紅外與可見光圖像配準的電力設備檢測系統(tǒng)研究與應用[D].安徽大學，2014.

[4]鄭少峰.可見光與紅外圖像融合算法及VC語言的實現(xiàn)[D].西安工業(yè)大學，2013.

[5]Vidas S，Lakemond R，Denman S，et al. A mask-based approach forthe geometric calibration of thermal-infrared cameras. IEEE Transac-tions on Instrumentation and Measurement，2012，61（6）： 1625-1635.

[6]張小玉，宮賀，齊琦，等.基于OPen CV的長波紅外攝像機標定研究.電子設計工程，2015，23（1）：181-184.

Zhang X Y，Gong H，Qi Q，et al. Calibration of long wave infrared camera based on Open CV. Electronic Design Engineering，2015， 23（1）：181-184.

[7]R.Q. Yang， W. Yang， Y.Z. Chen， and X.M. Wu. Geometric Calibration of IR Camera Using Trinocular Vision [J]. Journal of Lightwave Technology， VOL.29，NO.24， December 15，2011：3797-3803.