基于樹莓派的雙目攝像系統(tǒng)設(shè)計與制作

孔圣文，馬平帥，丁永賢

（銀川能源學(xué)院，寧夏 銀川 750100）

0 引 言

物聯(lián)網(wǎng)浪潮推動著互聯(lián)網(wǎng)和人工智能行業(yè)的變革，計算機實時圖像處理技術(shù)也成為研究的熱點之一。圖像拼接技術(shù)在實際的工作和生活場景中應(yīng)用廣泛，是進(jìn)一步開展雙目攝像系統(tǒng)設(shè)計的核心內(nèi)容。目的是將雙目攝像頭所拍攝圖像之間重復(fù)的部分進(jìn)行特征匹配和融合處理合成，最終形成一張寬視覺的場景圖像。

在機器視覺應(yīng)用中，圖像拼接技術(shù)經(jīng)常被用來獲取寬視覺圖像，打破圖像傳感器自身視覺的限制。雙目攝像系統(tǒng)作為多種高新技術(shù)相融合的集成系統(tǒng)，不僅融合了嵌入式、傳感器、編程、計算機硬件、人工智能等多門學(xué)科知識，而且還積極引入前沿技術(shù)，具有較強的市場競爭力和巨大的現(xiàn)實意義。

1 系統(tǒng)設(shè)計

本設(shè)計將雙目攝像系統(tǒng)分為五個部分：系統(tǒng)控制部分、圖像采集部分、電源部分、網(wǎng)絡(luò)通信部分和顯示部分。選擇樹莓派控制平臺、雙目攝像頭、隨身Wi-Fi和手機等相關(guān)模塊，結(jié)合計算機視覺技術(shù)和通信技術(shù)相關(guān)知識實現(xiàn)雙目攝像系統(tǒng)的圖像拼接功能。以Python為開發(fā)語言，經(jīng)過圖像采集、圖像處理、圖像配準(zhǔn)、圖像融合流程輸出全景拼接圖，顯示到手機端和電腦端，實現(xiàn)設(shè)計目標(biāo)。設(shè)計基于樹莓派4B

開發(fā)板的雙目攝像系統(tǒng)，即實現(xiàn)基于計算機視覺的圖像拼接。系統(tǒng)設(shè)計包含硬件設(shè)計和軟件設(shè)計，系統(tǒng)軟件設(shè)計可以分為靜態(tài)圖像拼接和實時圖像拼接兩大部分。樹莓派4B開發(fā)板中搭載的是Raspbian系統(tǒng)，自帶PythonIDE編譯環(huán)境。雙目攝像系統(tǒng)借助樹莓派開發(fā)板實現(xiàn)Python編程控制圖像拼接。系統(tǒng)設(shè)計示意圖如圖1所示。

圖1 系統(tǒng)設(shè)計示意圖

2 設(shè)計實現(xiàn)

2.1 總體設(shè)計

根據(jù)設(shè)計需求，系統(tǒng)硬件主要是樹莓派控制板，系統(tǒng)軟件分為圖像采集、圖像處理、圖像拼接和圖像顯示四個模塊。圖像采集是指通過雙目攝像頭將圖片轉(zhuǎn)化成電子圖像；圖像處理是指對電子圖像進(jìn)行初步分析和處理，為后續(xù)的圖像拼接做好準(zhǔn)備；圖像拼接是指對經(jīng)過處理的圖像進(jìn)行算法處理，獲得全景圖；圖像顯示是指通過網(wǎng)絡(luò)通信模塊將圖像拼接圖傳輸?shù)绞謾C端或電腦端。系統(tǒng)總體設(shè)計包括靜態(tài)圖像拼接和實時圖像拼接。總體設(shè)計流程圖如圖2所示。

圖2 總體設(shè)計流程圖

2.2 樹莓派控制板

設(shè)計樹莓派控制板時，在追求穩(wěn)定性和可靠性的同時，還要注重整個系統(tǒng)的性能，所以在材料和部件的選擇上尤為慎重。之所以選擇樹莓派作為雙目攝像系統(tǒng)的控制板是因為樹莓派只有一張銀行卡大小的控制板，卻擁有計算機的各種組件，完全可以看作是一款微型計算機。它搭載了類似于Linux系統(tǒng)的Raspbian系統(tǒng)，該系統(tǒng)經(jīng)歷了近10年的發(fā)展，隨著版本不斷的更新迭代，最新版本為樹莓派4B。因其具有體積小、價格低、功能強和技術(shù)開源等優(yōu)點而受到無數(shù)開發(fā)人員的追捧。樹莓派不僅具有Python編譯開發(fā)環(huán)境，還支持Python、JAVA、C語言，這些優(yōu)勢使樹莓派成為通信、嵌入式行業(yè)中一款廣為流行的控制平臺。

2.3 圖像采集及處理

使用雙目攝像頭對某景象進(jìn)行拍照，生成電子圖片，并將其拷貝到樹莓派系統(tǒng)。系統(tǒng)采集完圖像后，靜態(tài)拼接圖像并將圖像保存到example文件夾中，動態(tài)拼接時由雙目攝像頭實時拍攝采集，采集幀數(shù)為15幀，樹莓派對采集的每一幀圖像進(jìn)行實時處理，處理過程包括圖像特征點提取、圖像配準(zhǔn)和圖像融合，完成圖像拼接，最后通過網(wǎng)絡(luò)通信將每一幀拼接的圖像顯示到手機端和電腦端，形成動態(tài)拼接視頻。圖像處理流程如圖3所示。

圖3 圖像處理流程圖

在計算機視覺算法中，圖像預(yù)處理是一個重要環(huán)節(jié)，也是圖像拼接的主要步驟。圖像預(yù)處理包括圖像尺度構(gòu)建和特征點檢測，前者所采用的方法是通過式（1）高斯函數(shù)構(gòu)造高斯金字塔多尺度表示的方法，它是一項應(yīng)用于圖像處理、計算機視覺和信號處理領(lǐng)域的技術(shù)；后者所采用的方法是基于縮放不變特性原理，比較兩個圖像中所有像素點的計算復(fù)雜又耗時，通常會選擇圖像中的一些特殊點進(jìn)行部分分析，而選擇的特征點應(yīng)該是左右圖像所共有的和容易區(qū)分的點。由式（2）得到像素點梯度，在式（3）梯度幅值的基礎(chǔ)上，用式（4）在左右圖像間構(gòu)建對應(yīng)的關(guān)系和方向，和表示像素點坐標(biāo)，使選擇的特征點具有對稱性，在平移、翻轉(zhuǎn)過程中保持尺度不變的特性。

根據(jù)以上理論知識對圖像特征點進(jìn)行提取后，所獲取的左右兩幅圖像在尺度上會產(chǎn)生不同的空間坐標(biāo)，而圖像配準(zhǔn)則是將兩幅圖像的不同坐標(biāo)系統(tǒng)進(jìn)行配準(zhǔn)，最終形成一個坐標(biāo)系統(tǒng)。該方法首先是對兩幅圖像及兩幅圖像之間的特征點進(jìn)行定位，通過式（5）歐氏幾何公式對其進(jìn)行配準(zhǔn)。

圖像配準(zhǔn)完成后，會將一張圖像作為模板，而將另外一張圖像投影到模板圖像的坐標(biāo)系上，最后融合兩幅圖像的相同匹配點和特征點。圖像融合在圖像拼接中具有承上啟下的作用，也是最為關(guān)鍵的一步。通過合并重疊區(qū)域中的相同位置和像素，同時保留沒有重疊區(qū)域的像素，將所有對齊的圖像融合到全局平面坐標(biāo)系中完成圖像的融合。

融合過程中，由于光照、視角、場景和攝像角度的不同而導(dǎo)致兩張圖像出現(xiàn)一明一暗的效果，使得圖像拼接時會出現(xiàn)拼接縫隙線。鑒于此，本文采用Alpha羽化融合方法，即采用式（6）加權(quán)平均值的方法（需滿足任意條件下+=1），對兩幅圖像的像素進(jìn)行平均化，使得兩幅圖像的像素適中，該方法適用于圖像拼接時弱化拼接縫隙線。

2.4 圖像拼接

在系統(tǒng)的設(shè)計與制作中融合了現(xiàn)有的圖像拼接技術(shù)，同時對圖像進(jìn)行實時拼接。圖像拼接是一個被廣為研究的課題，本文將對雙目攝像系統(tǒng)的圖像靜態(tài)拼接和實時圖像拼接做進(jìn)一步的探索和創(chuàng)新。

2.4.1 圖像靜態(tài)拼接

靜態(tài)圖像的拼接是根據(jù)需要選取圖像進(jìn)行拼接。首先是特征點的提取和描述，其次是特征點的匹配，在兩個圖像上尋找對應(yīng)的點，利用對點求出變換矩陣，再將變換矩陣應(yīng)用于左圖，以產(chǎn)生右圖的對應(yīng)，最后，將右側(cè)的圖像與對應(yīng)的圖像進(jìn)行拼接，完成圖像的拼接。拼接的成功與否取決于特征點的選取，如果選取了匹配錯誤的特征點，拼接將會失敗，所以選擇相似重疊部分圖像中的最強匹配點作為拼接點。

靜態(tài)圖像拼接采用SIFT特征不變換算法實現(xiàn)，重要的一步是找到圖4和圖5中最強匹配點所在的位置，通過映射矩陣變換，得到右圖像的最強匹配點經(jīng)過映射后投影到新圖像上的位置坐標(biāo)，在新圖像最強匹配點的映射坐標(biāo)處拼接兩幅圖像，如圖6所示。

圖4 雙目左圖像

圖5 雙目右圖像

圖6 靜態(tài)圖像拼接圖

2.4.2 圖像實時拼接

結(jié)合使用Python和OpenCV進(jìn)行圖像拼接。左右雙目鏡頭拍攝兩張共享某些公共區(qū)域的圖像，目的是實現(xiàn)圖像拼接，“縫合”它們并創(chuàng)建一個全景圖像。通過Wi-Fi模塊提供網(wǎng)絡(luò)并與流媒體相結(jié)合，在系統(tǒng)中搭建輕量級的Web框架，并將拼接圖像顯示到手機端和電腦端。

圖像拼接是計算機機器視覺中最成功的應(yīng)用之一。為了便于圖像拼接，將左右圖片變換到統(tǒng)一的平面上，使目標(biāo)圖像在坐標(biāo)系中記錄下來，根據(jù)匹配關(guān)系將投影變換后的圖片再次變換，再次采樣圖像并融合。圖像融合的目的是消除因幾何校正、動態(tài)場景或光照變化而引起的相鄰圖像間強度或顏色不連續(xù)問題，以獲得具有廣角場景和高分辨率信息的新圖像，如圖7所示。

圖7 圖像實時拼接圖

該設(shè)計所用的圖像拼接算法為尺度不變特征變換算法（Scale-invariant feature transform, SIFT），是圖像處理領(lǐng)域的一種描述方式，具有尺度不變性，可在圖像中檢測出關(guān)鍵點，是一種局部特征描述的圖像拼接算法。

2.5 圖像顯示

采用 flask框架將拼接圖像傳送到電腦端和手機端。Flask是用Python語言編寫的Web微框架，也是樹莓派所集成的功能之一，使用便捷并且能夠快速實現(xiàn)一個微型網(wǎng)站或Web服務(wù)。

在文件框架中引入 flask類，并給它創(chuàng)建一個實例，name代表模塊的名稱，route定義一個路由，告訴 flask如何訪問該函數(shù)，最后運用run函數(shù)使這個Web應(yīng)用在服務(wù)器上運行起來。完成上述工作后使手機端、樹莓派和電腦三者處于同一Wi-Fi網(wǎng)絡(luò)下，在手機端輸入樹莓派IP地址可以顯示圖像實時拼接窗口。

2.6 網(wǎng)絡(luò)通信

樹莓派和雙目攝像系統(tǒng)的網(wǎng)絡(luò)通信模塊選用的是隨身Wi-Fi。Wi-Fi是基于IEEE 802.11標(biāo)準(zhǔn)的無線局域網(wǎng)技術(shù)，通過無線路由器把有線網(wǎng)轉(zhuǎn)化為一定覆蓋能力的無線網(wǎng)絡(luò)；通常情況下工作的頻段是2.4 GHz或者5.0 GHz，傳輸距離一般為0～100米，Wi-Fi覆蓋的終端設(shè)備可以組成一個無線局域網(wǎng)實現(xiàn)多設(shè)備的互聯(lián)。本設(shè)計中Wi-Fi為系統(tǒng)提供網(wǎng)絡(luò)。

2.7 動力電源

本設(shè)計的控制模塊需要供電。系統(tǒng)供電所采用的是基于Raspberry PiGPIO的接口，適用于樹莓派系列主板的不間斷電源（UPS）模塊。采用彈簧頂針式設(shè)計，可通過I2C接口通信，測量電池電壓、電流、功率和剩余電量等參數(shù)，實時檢測模塊的工作狀態(tài)，可避免因控制板突然斷電而導(dǎo)致數(shù)據(jù)丟失。

UPS板可保護電路、防過充、防過放、防過流、防短路和防反接，均衡充電，工作穩(wěn)定安全；板載5 V穩(wěn)壓芯片，提供穩(wěn)定的5 V電壓輸出、2.5 A電流輸出；板載USB接口便于為其他模塊供電。

3 結(jié) 論

本文設(shè)計的雙目攝像系統(tǒng)包含硬件設(shè)計和軟件設(shè)計。主要目標(biāo)是實現(xiàn)圖像拼接，通過模擬人眼實現(xiàn)機器視覺擴大可見視野的目的，其中硬件部分采用樹莓派開發(fā)板、雙目攝像頭、電源驅(qū)動模塊、移動網(wǎng)絡(luò)模塊和手機終端，軟件部分運用Python語言開發(fā)設(shè)計，系統(tǒng)的主要功能是實現(xiàn)了雙目圖像的靜態(tài)拼接和實時拼接。系統(tǒng)的設(shè)計可以作為一系列硬件的載體，應(yīng)用于虛擬現(xiàn)實、醫(yī)學(xué)圖像、機器視覺、空中遙感、監(jiān)控安防、地面遠(yuǎn)程協(xié)助等領(lǐng)域，擴大可見視野。