WIFI鏡頭機(jī)無線圖像采集系統(tǒng)①

龔正,沈建新(南京航空航天大學(xué) 機(jī)械電子工程系,南京 210016)

?

WIFI鏡頭機(jī)無線圖像采集系統(tǒng)①

龔正,沈建新
(南京航空航天大學(xué) 機(jī)械電子工程系,南京 210016)

摘 要:針對(duì)有線攝像頭移動(dòng)性差、不夠靈活等缺陷,提出將攝像頭模塊、WIFI模組和stm32芯片組合到一起形成一個(gè)WIFI無線鏡頭機(jī).對(duì)攝像頭模塊和WIFI模組的原理和實(shí)物進(jìn)行了研究,通過WIFI無線數(shù)據(jù)傳輸技術(shù)、LWIP協(xié)議及Socket網(wǎng)絡(luò)編程將圖像數(shù)據(jù)信息無線發(fā)送到顯示設(shè)備處理器中.最終實(shí)現(xiàn)將帶有網(wǎng)卡的顯示設(shè)備連接到WIFI無線鏡頭機(jī)內(nèi)部的WIFI熱點(diǎn),通過連接服務(wù)器、開啟相機(jī)、保存圖片等一系列的操作,方便快捷的完成無線圖像傳輸、顯示和存儲(chǔ)的工作.

關(guān)鍵詞:鏡頭機(jī); 無線圖像采集; WIFI模組; LWIP協(xié)議; socket編程

傳統(tǒng)有線工業(yè)相機(jī)的工作原理是通過各種鏡片(LENS)光路將被成像物體生成的光學(xué)影像投射到光電耦合器上,通過A/D轉(zhuǎn)換后變?yōu)閿?shù)字圖像信號(hào),將該數(shù)字信號(hào)傳送至DSP芯片中進(jìn)行壓縮存儲(chǔ)等操作,最終通過有線線路傳輸?shù)斤@示設(shè)備中[1].傳統(tǒng)有線圖像傳輸方式不夠方便和靈活,常受布線、被成像物體的位姿等問題的影響.

目前應(yīng)用較廣的無線數(shù)據(jù)傳輸技術(shù)有: 藍(lán)牙(BlueTooth)、通用分組無線業(yè)務(wù)(GPRS)、無線域網(wǎng)(ZigBee)、基于IEEE802.11b標(biāo)準(zhǔn)的無線局域網(wǎng)(WIFI),這些無線數(shù)據(jù)傳輸技術(shù)都有各自的應(yīng)用領(lǐng)域.如,藍(lán)牙適用于低功耗、低成本、短距離的場(chǎng)合[2]; GPRS提供高速無線IP,但依賴基站且用戶需要承擔(dān)相應(yīng)的費(fèi)用[3]; ZigBee是一種近距離、低復(fù)雜度、低功耗、低成本的雙向無線通信技術(shù)[4].本系統(tǒng)采用的WIFI網(wǎng)絡(luò)具有傳輸速率快、能耗低、覆蓋面廣等特點(diǎn)[5].

有線相機(jī)改造成無線相機(jī)的關(guān)鍵點(diǎn)是將原來由有線傳輸?shù)臄?shù)字圖像信號(hào)和控制數(shù)據(jù)改為無線傳輸.目前市場(chǎng)上已經(jīng)有商用的無線攝像頭,當(dāng)前主流的設(shè)計(jì)方案包括: ARM+DSP、FPGA+視頻編解碼芯片、高主頻的ARM擔(dān)當(dāng)中央控制和圖像處理的角色.但是高質(zhì)量的無線攝像頭價(jià)格昂貴,并且集成度比較高不利于底層的二次開發(fā).本文通過對(duì)嵌入式圖像采集系統(tǒng)平臺(tái)[6]、WIFI無線數(shù)據(jù)傳輸技術(shù)和WIFI與顯示設(shè)備之間的通信協(xié)議的研究,提出將工業(yè)相機(jī)內(nèi)部嵌入WIFI模組,通過顯示設(shè)備連接相機(jī)內(nèi)部的WIFI熱點(diǎn)進(jìn)而完成無線圖像傳輸、顯示和存儲(chǔ)的工作.

1　WIFI無線圖像采集系統(tǒng)總設(shè)計(jì)與WIFI技術(shù)原理

本系統(tǒng)設(shè)計(jì)的無線圖像采集系統(tǒng)由WIFI鏡頭機(jī)模塊和帶有無線網(wǎng)卡的PC組成,其中WIFI相機(jī)鏡頭模塊由影響感應(yīng)器、影像處理器和WIFI無線傳輸模塊組成.如圖1所示為WIFI相機(jī)鏡頭模塊與PC機(jī)無線通信的示意圖.

WIFI相機(jī)鏡頭模塊是新型的不含顯示器的鏡頭模塊,它的顯示器可以是智能手機(jī)、PC機(jī)、平板電腦等具有連接WIFI功能的顯示設(shè)備.傳統(tǒng)的相機(jī)顯示器和相機(jī)鏡頭都是一體的或者說是有線連接的.WIFI相機(jī)鏡頭模塊看起來像是一個(gè)相機(jī),但是沒有顯示器,因此更準(zhǔn)確的來說它是一個(gè)無線攝像頭.它是通過相機(jī)鏡頭模塊內(nèi)置的WIFI無線模塊連接到顯示器,一旦顯示器與WIFI相機(jī)鏡頭模塊建立連接,相機(jī)就可與顯示器主機(jī)進(jìn)行無線數(shù)據(jù)交互如相機(jī)采集的照片可以無線傳輸?shù)斤@示器上、主機(jī)可以給WIFI模組發(fā)送命令來控制相機(jī)的調(diào)教馬達(dá)或者改變相機(jī)拍攝參數(shù).

圖1 WIFI相機(jī)鏡頭模塊與PC機(jī)無線通信的示意圖

1.1影像感應(yīng)器與影像處理器

影像感應(yīng)器有CCD和CMOS兩種.以前大多使用的是CCD感應(yīng)器,考慮到成本和CMOS制造工藝的發(fā)展數(shù)碼影像器材的感光元件多采用CMOS型.如圖2所示,CMOS圖像傳感器一般由行選通邏輯、定時(shí)和控制電路、像素陣列、在片模擬信號(hào)處理器(ASP)、列選通邏輯構(gòu)成,高級(jí)的COMS中集成有ADC[7].

影像處理器就是固化到數(shù)碼相機(jī)主機(jī)板的一個(gè)大型的集成電路芯片,在成像過程中對(duì)COMS(或CCD)蓄積下的電荷信號(hào)進(jìn)行處理,完成數(shù)碼圖像的壓縮、顯示和存儲(chǔ).影像處理器將用于圖像處理功能的DSP 和MCU集成在一個(gè)芯片上,如ATMEL AT76C111、 AT76C110等,它們的MCU都是采用ARM7內(nèi)核.

圖2　CMOS圖像傳感器結(jié)構(gòu)

1.2WIFI模組

WIFI模組是實(shí)現(xiàn)無線圖像采集的關(guān)鍵,它需要將COMS采集的數(shù)字信號(hào)轉(zhuǎn)化成無線電信號(hào),并進(jìn)行遠(yuǎn)程傳輸,使圖像可以在其他顯示設(shè)備中再現(xiàn).因此它具有以下特點(diǎn): 支持UART/GPIO通訊,可以與數(shù)碼相機(jī)的芯片進(jìn)行連接; 采用擴(kuò)頻技術(shù),以保證無線數(shù)據(jù)傳輸能順利進(jìn)行; 支持802.11無線標(biāo)準(zhǔn)和TCP/IP/UDP網(wǎng)絡(luò)協(xié)議,便于與無線網(wǎng)卡連接,在PC機(jī)等顯示設(shè)備上顯示,保存圖像.WIFI無線圖像傳輸系統(tǒng)中,常用的WIFI芯片是Marvell公司的88W8686和新出的88W8787[8].

1.3WIFI無線數(shù)據(jù)傳輸技術(shù)

WIFI遵循IEEE802.11系列協(xié)議,是主流的無線局域網(wǎng)(WLAN)技術(shù).WIFI協(xié)議只是定義OSI(Open System Interconnection)七層協(xié)議的物理層(PHY)和數(shù)據(jù)鏈路控制層(DLC)的一部分[9].

在物理層的空中接口中,數(shù)據(jù)信息勢(shì)以無線電波(radio wave)進(jìn)行傳輸.這種傳輸經(jīng)常是一幀一幀的進(jìn)行,每一幀都會(huì)按照一定的規(guī)矩進(jìn)行排列,采用幀結(jié)構(gòu)或者包結(jié)構(gòu)形式.這就導(dǎo)致WIFI協(xié)議需要比較復(fù)雜的PHY,WIFI的PHY也可分為三層:

① 最下層是PMD(Physical Medium Dependent,物理介質(zhì)依賴)負(fù)責(zé)傳送這些幀,與實(shí)際的物理介質(zhì)打交道;

② 中間層叫PLCP(Physical Layer Convergence Procedure,物理層會(huì)聚過程)負(fù)責(zé)將MAC(Medium Access Control,媒介訪問控制層)幀映射到傳輸媒介;

③ 最上層叫PHY SAP(Server Access Point,物理層服務(wù)訪問點(diǎn))就是上段定義的對(duì)MAC的服務(wù)接口.

上層通過接口原語的方式調(diào)用MAC層的功能.MAC一共向上層提供數(shù)據(jù)類1個(gè)接口和管理類29個(gè)接口原語.

2　WIFI無線圖像采集系統(tǒng)硬件設(shè)計(jì)

本系統(tǒng)選用的是OV2640攝像頭模塊,是一種CMOS圖像傳感器,將UXGA相機(jī)和DSP封裝集成在一塊板子[10].通過SCCB總線控制,支持Raw RGB、RGB(GRB4:2:2、RGB565/555/444)、YUY(4:2:2)輸出格式,UXGA(1632*1232)圖像最高達(dá)到15fps.如圖3所示為OV2640的實(shí)物圖.

圖3　OV2640攝像頭實(shí)物圖

本系統(tǒng)選用的WIFI模組是臺(tái)灣環(huán)隆電氣公司生產(chǎn)的模塊WM-G-MR-09,它是將88W8686芯片組做成一個(gè)SIP模塊(system in package),把無線芯片,時(shí)鐘,電源以及存儲(chǔ)模塊集成到一個(gè)封裝里,不用去考慮無線芯片的具體細(xì)節(jié),大大方便了我們的設(shè)計(jì).圖4 為WM-G-MR-09WIFI模塊的實(shí)物圖.

圖4　WM-G-MR-09WIFI模塊的實(shí)物圖

其中WM-G-MR-09WIFI模塊引出了10個(gè)引腳與主芯片進(jìn)行連接,分別是DATA1,DATA0,GND,CLK,SW_3V3,GND,CMD,DATA3,DATA2,GND.其中SDIO/G_SPI數(shù)據(jù)傳輸引腳DATA0,DATA1,DATA2,DATA3,時(shí)鐘引腳CLK,命令控制引腳CMD,其他的分別是電源和接地引腳.

本系統(tǒng)選用ARM STM32F103RET6作為MCU,它負(fù)責(zé)將OV2640攝像頭模塊采集來的數(shù)字信號(hào),通過G_SPI串口傳送給WM-G-MR-09無線WIFI模塊.將WM-G-MR-09WIFI模塊、OV640攝像頭和STM32F103RET6組合在一起就看成一個(gè)簡(jiǎn)易的WIFI鏡頭機(jī).顯示設(shè)備通過自帶的無線網(wǎng)卡就可以完成與WIFI鏡頭機(jī)的無線圖像顯示及采集的工作.

3　WIFI無線圖像采集系統(tǒng)軟件設(shè)計(jì)

WIFI無線圖像采集系統(tǒng)是基于Ad hoc網(wǎng)絡(luò),Ad hoc網(wǎng)絡(luò)可以不依靠任何中間設(shè)備(如路由器等)完成WIFI模塊與PC機(jī)無線網(wǎng)卡的連接.只要將WIFI模塊功能打開,裝有無線網(wǎng)卡的PC機(jī)就可搜索到無線網(wǎng)絡(luò),PC機(jī)就可連接WIFI模塊建立的WIFI熱點(diǎn).如圖5所示為無線圖像傳輸系統(tǒng)軟件結(jié)構(gòu)圖.PC機(jī)中實(shí)現(xiàn)上位機(jī)應(yīng)用層,TCP,IP協(xié)議; 網(wǎng)絡(luò)接口層由無線網(wǎng)卡和WIFI無線模塊共同實(shí)現(xiàn).

圖5　無線圖像傳輸系統(tǒng)軟件結(jié)構(gòu)圖

本系統(tǒng)WIFI鏡頭機(jī)模塊采用LWIP協(xié)議(Light weight IP),這種協(xié)議在有無操作系統(tǒng)的支持下都可以運(yùn)行[11].之所以使用LWIP協(xié)議是因?yàn)樗瓤梢詫?shí)現(xiàn)TCP協(xié)議有可以在無操作系統(tǒng)的情況下使用并且該協(xié)議占用的RAM和ROM都較少,適合在低端的嵌入式系統(tǒng)中使用.

本文就是在無操作系統(tǒng)的情況下使用LWIP協(xié)議,即使用RAW API函數(shù)來完成LWIP的功能.在此之前將相應(yīng)的LWIP和WIFI庫文件放置到工程文件中,并進(jìn)行相應(yīng)的配置和操作,具體做法如下:

① 通過init_marvell_driver()函數(shù)初始化網(wǎng)卡,初始化marvell驅(qū)動(dòng)程序并初始化SD卡,將關(guān)聯(lián)配置信息存放到相應(yīng)的變量中;

② 通過marvel_assoc_network (prive,marvel_ssid,marvel_key,marvel_mode)函數(shù)關(guān)聯(lián)網(wǎng)絡(luò),即通過marvel_ssid變量和marvel_key變量來設(shè)置WIFI熱點(diǎn)的用戶名和密碼,通過marvel_mode來選擇Ad hoc網(wǎng)絡(luò)模式;

③ 通過Init_LwIP()函數(shù)來初始化LWIP協(xié)議棧,具體初始化有內(nèi)存管理(men、memp)、數(shù)據(jù)包緩存(pbuf)、網(wǎng)絡(luò)接口(netif)等;

④ 通過dhcpsrv_start(&netif)函數(shù)啟動(dòng)DHCP服務(wù);

⑤ 通過Init_tcp_server()函數(shù)創(chuàng)建TCP服務(wù)器,完成TCP的創(chuàng)建、綁定相應(yīng)的下位機(jī)端口號(hào)、監(jiān)聽和接受服務(wù)請(qǐng)求.

⑥ 最后通過low_level_input(&netif)函數(shù)和low_level_output(&netif)函數(shù)完成接受和發(fā)送一個(gè)數(shù)據(jù)包.

完成WIFI模塊與ARM STM32F103RET6芯片之間的相關(guān)操作,即下位機(jī)程序如何使用協(xié)議棧內(nèi)部提供的各種服務(wù),還要完成上位機(jī)接收顯示圖像數(shù)據(jù)和發(fā)送下位機(jī)控制數(shù)據(jù)的工作.

如圖6為應(yīng)用程序的工作流程圖.Socket客戶端采用connect()方法連接上服務(wù)器的IP和端口號(hào); send()方法請(qǐng)求數(shù)據(jù),用于控制OV2640攝像頭模塊的打開與關(guān)閉; recv()方法用于接收?qǐng)D片信息.本系統(tǒng)在WIFI鏡頭機(jī)模塊中創(chuàng)建一個(gè)服務(wù)器,在PC機(jī)上建立一個(gè)客戶端程序.通過客戶端程序?qū)崿F(xiàn)與服務(wù)器的連接,從而實(shí)現(xiàn)攝像頭模塊的打開與關(guān)閉以及圖像的顯示與保存.

圖6　應(yīng)用程序工作流程圖

4　WIFI無線圖像采集系統(tǒng)測(cè)試

如圖7所示W(wǎng)IFI鏡頭機(jī)的WIFI無線視頻傳輸上位機(jī)界面,通過LWIP和Socket網(wǎng)絡(luò)實(shí)現(xiàn)WIFI無線圖像采集.圖中界面是用C#語言編寫而成,左邊的大圖為一個(gè)pictureBox控件,用以實(shí)時(shí)顯示Socket接收的視頻圖像; 通過輸入正確的IP和端口號(hào),按下“連接服務(wù)器”按鈕即可連接下位機(jī)的服務(wù)器; “開啟視頻”按鈕是在正確下位機(jī)連接服務(wù)器后,開啟OV2640攝像頭,并將該攝像頭采集的圖像信息在左邊的大圖中實(shí)時(shí)顯示; “保存”按鈕是將實(shí)時(shí)顯示的圖像瞬間捕獲,保存在本地磁盤中并在右邊的小圖中顯示出來.至此,完成了WIFI鏡頭機(jī)無線圖像采集、實(shí)時(shí)顯示和保存的全部工作.

圖7　WIFI無線視頻傳輸上位機(jī)界面

5　結(jié)語

無線WIFI鏡頭機(jī)的圖像采集系統(tǒng)是多種新技術(shù)、新產(chǎn)品并結(jié)合實(shí)際應(yīng)用要求的產(chǎn)物.鏡頭與顯示器的無線分離讓圖像采集的過程變得非常方便快捷.WIFI相機(jī)模塊的圖像采集系統(tǒng)具有成本低廉、易于開發(fā)與集成等優(yōu)點(diǎn).隨著無線技術(shù)的發(fā)展與成熟,WIFI無線圖像采集系統(tǒng)將會(huì)工業(yè)圖像采集及醫(yī)用圖像采集中得到廣泛的應(yīng)用.

參考文獻(xiàn)

1蔣昌茂,劉洪林.基于WIFI的無線IP攝像頭的設(shè)計(jì)與實(shí)現(xiàn).微型機(jī)與應(yīng)用,2010,29(21):55–57.

2李曉毅,鐘先信,余文革,等.局域監(jiān)控藍(lán)牙無線圖像傳輸系統(tǒng)設(shè)計(jì).電子技術(shù)應(yīng)用,2003,29(6):62–64.

3楊興裕,吳海彬,許松清.GPRS無線傳輸在遠(yuǎn)程圖像監(jiān)控系統(tǒng)中的應(yīng)用.微計(jì)算機(jī)信息,2005,21(3):64–65.

4章偉聰,俞新武,李忠成.基于CC2530及ZigBee協(xié)議棧設(shè)計(jì)無線網(wǎng)絡(luò)傳感器節(jié)點(diǎn).計(jì)算機(jī)系統(tǒng)應(yīng)用,2011,20(7):184–187.

5趙智雅,王澤勇.嵌入式圖像采集系統(tǒng)的平臺(tái)設(shè)計(jì).計(jì)算機(jī)系統(tǒng)應(yīng)用,2009,18(12):136–139.

6曾磊,張海峰,侯維巖.基于WIFI的無線測(cè)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).電測(cè)與儀表,2011,48(547):81–83.

7佟雨兵,常青,張其善.嵌入式CCD視頻圖像采集系統(tǒng).光電工程,2004,31(增刊):133–144.

8羅娜.基于88W8686的手持終端WIFI功能的設(shè)計(jì)與實(shí)現(xiàn)[學(xué)位論文].武漢:武漢理工大學(xué),2010.

9 劉小軍.基于WIFI無線視頻傳輸技術(shù)的研究.電子技術(shù),2012,10(3):82–85.

10王建,梁振濤,鄭文斌,等.STM32和OV2640的嵌入式圖像采集系統(tǒng)設(shè)計(jì).單片機(jī)與嵌入式系統(tǒng)應(yīng)用,2014,9(1): 46 –48.

11汪競(jìng).基于WIFI的無線圖像傳輸系統(tǒng)的設(shè)計(jì)[碩士學(xué)位論文].西安:中國(guó)科學(xué)院研究生院(西安光學(xué)精密機(jī)械研究所),2013.

Wireless Image Acquisition System of WIFI Lens Camera

GONG Zheng,SHEN Jian-Xin
(Mechanical and Electronic Engineering,Nanjing University of Aeronautics and Astronautics,Nanjing 210002,China)

Abstract:Wired camera has many defects such as poor mobility and less flexible,so the paper presents a combination of the camera module,WIFI module and stm32 chips to form a WIFI wireless lens Camera.Through researching on theory and entity of camera module as well as WIFI module,this method implements wireless image data transmission to the display device processor by WIFI wireless data transmission technology,LWIP protocol and Socket network programming.When the display device with WIFI wireless network card could connect to the camera's internal WIFI hotspot,it could conveniently complete wireless image transmission,display and storage through a series of operations like connecting to the server,turning on the camera,preserving the image and so on.

Key words:lens camera; wireless image acquisition; WIFI module; LWIP protocol; socket programming

收稿時(shí)間:①2015-08-14;收到修改稿時(shí)間:2015-09-24