范毅 劉寶成
【摘要】 ? ?介紹了視頻雷達(dá)在某型調(diào)車輔助駕駛系統(tǒng)上的軟件設(shè)計(jì)及應(yīng)用,重點(diǎn)描述了該視頻雷達(dá)系統(tǒng)的開(kāi)發(fā)環(huán)境、軟件功能及設(shè)計(jì)方法。
【關(guān)鍵詞】 ? ?視頻雷達(dá) ? ?調(diào)車輔助駕駛系統(tǒng) ? ?功能 ? ?設(shè)計(jì)
引言:
視頻雷達(dá)是STAD系統(tǒng)的核心設(shè)備之一,用于獲取車列前方圖像信息、與障礙物的相對(duì)位置信息,GPS數(shù)據(jù)信息,并通過(guò)無(wú)線通信(WiFi或LTE)傳輸給車載設(shè)備。由于該產(chǎn)品功能和特點(diǎn)有一定市場(chǎng)需求,通過(guò)對(duì)視頻雷達(dá)功能以及使用環(huán)境進(jìn)行分析研究,對(duì)市場(chǎng)和技術(shù)兩方面進(jìn)行了充分調(diào)研和評(píng)估后,形成該軟件設(shè)計(jì)方法。
一、視頻雷達(dá)系統(tǒng)概述
整個(gè)系統(tǒng)由夜視系統(tǒng)、雷達(dá)系統(tǒng)、GPS模塊、無(wú)線通訊模塊、電源模塊和結(jié)構(gòu)件組成。
1.夜視系統(tǒng)主要用于獲取列車前方視頻信息;
2.雷達(dá)系統(tǒng)主要用于獲取列車前方障礙物信息;
3.GPS模塊主要用于獲取當(dāng)前位置信息;
4.無(wú)線通信模塊主要用于實(shí)現(xiàn)與車載設(shè)備之間的通信;
5.電源模塊主要用于為系統(tǒng)提供穩(wěn)定可靠的供電。
二、軟件功能描述
系統(tǒng)軟件分為車載端和監(jiān)控端兩部分,車載端軟件運(yùn)行在HI3519處理器中,實(shí)現(xiàn)視頻采集、視頻編碼、視頻封包傳輸;監(jiān)控端軟件運(yùn)行在Android智能終端負(fù)責(zé)視頻解包、視頻解碼和視頻播放。
三、開(kāi)發(fā)環(huán)境簡(jiǎn)介
硬件環(huán)境:hisi3519視頻主控板,外部接口包括串口,CAN接口,網(wǎng)絡(luò)接口,IO接口,SD接口,外部設(shè)備包括雷達(dá)模塊,GPS模塊,4G模塊,wifi模塊。
軟件環(huán)境:車載端:Linux +Arm開(kāi)發(fā)環(huán)境,使用unbuntu16.04發(fā)布版本,編譯器使用hisi提供的編譯工具鏈;監(jiān)控端:Android開(kāi)發(fā)環(huán)境。
四、車載智能終端數(shù)據(jù)流程圖
該軟件運(yùn)行在hisi3519主控板上,linux操作系統(tǒng),主要實(shí)現(xiàn)功能是列車視頻監(jiān)控,雷達(dá)障礙物探測(cè),并將障礙信息(二維坐標(biāo)數(shù)據(jù))轉(zhuǎn)換到視頻中,能夠在視頻畫面中實(shí)時(shí)標(biāo)記障礙物,同時(shí)把障礙物信息上傳到主機(jī)端,為列車司機(jī)提供觀察判斷的條件。
數(shù)據(jù)流說(shuō)明:
視頻雷達(dá)采集到數(shù)據(jù),分析出結(jié)果后傳遞給視頻模塊,視頻模塊將雷達(dá)數(shù)據(jù)坐標(biāo)融合在視頻畫面中,通過(guò)RTSP視頻流傳輸?shù)絇C端軟件接收并實(shí)時(shí)顯示,同時(shí)雷達(dá)數(shù)據(jù)和GPS數(shù)據(jù)會(huì)發(fā)送給PC端軟件進(jìn)行實(shí)時(shí)的數(shù)字化顯示。
五、車載智能終端軟件功能接口說(shuō)明
5.1雷達(dá)數(shù)據(jù)采集線程RADAR_work_thread()
雷達(dá)進(jìn)行障礙物坐標(biāo)信息的采集,將采集到的二維坐標(biāo)數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換,雷達(dá)采集到的坐標(biāo)是世界坐標(biāo)系,而視頻畫面需要圖像坐標(biāo)系,因此,需要進(jìn)行坐標(biāo)系的轉(zhuǎn)換,把雷達(dá)坐標(biāo)轉(zhuǎn)換到圖像上,坐標(biāo)轉(zhuǎn)換完后,把圖像坐標(biāo)系提交給視頻模塊中OSD線程SAMPLE_RGN_VpssCoverExDynamicDisplay(),該線程會(huì)根據(jù)實(shí)時(shí)得到的坐標(biāo)進(jìn)行視頻綠色框標(biāo)記,從而實(shí)現(xiàn)視頻目標(biāo)跟蹤。
5.2 GPS 數(shù)據(jù)采集線程GPS_work_recv_thread()
實(shí)現(xiàn)設(shè)備速度獲取功能,以及時(shí)間獲取功能,主要采集設(shè)備速度數(shù)據(jù),將速度數(shù)據(jù)傳輸給雷達(dá),當(dāng)雷達(dá)運(yùn)動(dòng)時(shí)需要速度數(shù)據(jù),同時(shí),速度數(shù)據(jù)會(huì)通過(guò)TCP傳輸給PC端進(jìn)行實(shí)時(shí)顯示速度信息。
5.3視頻采集線程SAMPLE_VENC_NORMALP_CLASSIC()
主要實(shí)現(xiàn)hisi3519 視頻系統(tǒng)初始化,視頻采集,編碼,分辨率配置,rtsp打包發(fā)送等功能。
5.4其他工作線程OTHER_work_thread()
主要進(jìn)行4G信號(hào)強(qiáng)度,wifi信號(hào)強(qiáng)度,電池電量值獲取功能,其中,電池電量是通過(guò)串口讀取單片機(jī)串口發(fā)送來(lái)的電量信息(電池由單片機(jī)獨(dú)立控制);4G信號(hào)強(qiáng)度是通過(guò)給主控板發(fā)送命令,從而獲取的信號(hào)強(qiáng)度值;wifi信號(hào)強(qiáng)度是通過(guò)標(biāo)準(zhǔn)網(wǎng)絡(luò)接口獲取到wifi信號(hào)強(qiáng)度。
5.5 Rtsp工作模塊RTSP_work_start()
該模塊是以庫(kù)文件形式提供,該模塊接口使用簡(jiǎn)單。
使用方法:caster_init(),初始化rtsp模塊,配置rtsp通信端口
caster_chl_open(),啟動(dòng)rtsp通信通道
caster_chl_write_video()向rtsp通道寫入視頻數(shù)據(jù),等待客戶端連接
5.6 get_para()接口說(shuō)明
該接口實(shí)現(xiàn)的功能是配置文件讀寫,主要是雷達(dá)參數(shù)配置。
5.7自定義網(wǎng)絡(luò)通信工作線程TCP_work_thread()
該線程主要實(shí)現(xiàn)pc端與設(shè)備端命令交互,雷達(dá)數(shù)據(jù)發(fā)送,GPS數(shù)據(jù)發(fā)送。其中,所有需要發(fā)送給pc端的數(shù)據(jù)全部是在各個(gè)工作模塊數(shù)據(jù)解析完成后再發(fā)送給PC端,本線程主要處理PC機(jī)發(fā)送設(shè)備控制命令。
六、移動(dòng)智能終端軟件功能設(shè)計(jì)
基于 Android 平臺(tái)的監(jiān)控客戶端的總體框架如圖所示,分別由網(wǎng)絡(luò)通訊模塊、視頻解碼模塊以及視頻顯示模塊等構(gòu)成。其中網(wǎng)絡(luò)通訊模塊接收來(lái)自服務(wù)器的所有數(shù)據(jù),對(duì)數(shù)據(jù)進(jìn)行解析,并將視頻數(shù)據(jù)存入到視頻緩沖區(qū)。視頻解碼模塊負(fù)責(zé)從視頻緩沖區(qū)中讀取數(shù)據(jù)并送入 H. 264 解碼器進(jìn)行解碼。最后,采用 OpenGL 圖形庫(kù)將解碼后圖像繪制到屏幕上實(shí)現(xiàn)視頻播放。
視頻數(shù)據(jù)的接收和解碼都是復(fù)雜、持續(xù)的過(guò)程,如果其中一個(gè)過(guò)程出現(xiàn)阻塞會(huì)影響整個(gè)程序的運(yùn)行,因此,客戶端使用多線程實(shí)現(xiàn)數(shù)據(jù)接收和視頻解碼的并行處理。在整個(gè)程序運(yùn)行過(guò)程中,主線程響應(yīng)用戶操作,負(fù)責(zé)屏幕刷新工作,并創(chuàng)建兩個(gè)子線程:數(shù)據(jù)接收和視頻解碼子線程,處理過(guò)程如圖5所示。
七、結(jié)束語(yǔ)
該軟件設(shè)計(jì)方法已完成了設(shè)計(jì)和調(diào)試,并基本實(shí)現(xiàn)了在某型調(diào)車輔助系統(tǒng)上的應(yīng)用,滿足了特路市場(chǎng)的應(yīng)用需求,并且該軟件設(shè)計(jì)方法也可以推廣應(yīng)用于其他相關(guān)行業(yè),實(shí)現(xiàn)通過(guò)視頻雷達(dá)監(jiān)控并傳輸數(shù)據(jù)從而代替?zhèn)鹘y(tǒng)的視頻監(jiān)控,可大大提高視頻采集的可靠性和準(zhǔn)確性。
參考文獻(xiàn)
[1]周俊杰基于單目視覺(jué)的夜間車輛和車距檢測(cè)南京:南京理工大學(xué),2009
[2]郭磊,李克強(qiáng),王建強(qiáng),等一種基于特征的車輛檢測(cè)方法汽車工程,2006
[3]崔振華基于視覺(jué)和激光雷達(dá)的夜間前方車輛探測(cè)算法研究長(zhǎng)春:吉林大學(xué),2007
[4]郭磊,劉志峰,王建強(qiáng),等. 雷達(dá)與機(jī)器視覺(jué)的空間同步方法. 清華大學(xué)學(xué)報(bào)(自然科學(xué)版),2006,46(11):1904-1907.
[5] National Transportation Safety Board: Special Investigation Report[R]. 2001.
[6] GiancarloAlessandretti, Alberto Broggi, PietroCerri. Vehicle andGuard Rail Detection Using Radar and Vision Data Fusion[ J].IEEE Transactions On Intelligent Transportation Systems,2007,8(1):95-105.
范毅,19790620,男,陜西咸陽(yáng),漢;大學(xué)本科;工程師;計(jì)算機(jī)應(yīng)用