基于HIL和機(jī)器視覺的汽車儀表測(cè)試平臺(tái)

基于HIL和機(jī)器視覺的汽車儀表測(cè)試平臺(tái)

鄭云雷,黃影平

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院,上海200093)

摘要針對(duì)人工進(jìn)行汽車儀表測(cè)試時(shí)低效率的現(xiàn)狀,提出一種有效的檢測(cè)方法,結(jié)合了硬件在環(huán)(HIL)和機(jī)器視覺技術(shù)。已開發(fā)的系統(tǒng)能在實(shí)時(shí)環(huán)境下模擬車輛行為,并通過一個(gè)智能攝像機(jī)進(jìn)行視覺檢測(cè),用上位機(jī)控制整個(gè)操作流程,進(jìn)而實(shí)現(xiàn)汽車整車的自動(dòng)化檢測(cè)。文中介紹了模型仿真和圖像處理兩部分,并在實(shí)驗(yàn)室環(huán)境下對(duì)指示燈狀態(tài)、指針狀態(tài)和字符顯示等功能進(jìn)行了驗(yàn)證,實(shí)驗(yàn)證明了檢測(cè)結(jié)果的正確性和穩(wěn)定性。該系統(tǒng)具有較大的實(shí)用價(jià)值。

關(guān)鍵詞驗(yàn)證測(cè)試;硬件在環(huán);模型仿真;機(jī)器視覺

收稿日期:2015-04-22

作者簡(jiǎn)介:鄭云雷(1991—),男,碩士研究生。研究方向:汽車電子仿真等。E-mail:yunlei_zheng@126.com。黃影平(1966—),男,博士,教授。研究方向:智能汽車障礙物探測(cè)辨識(shí)等。

doi:10.16180/j.cnki.issn1007-7820.2015.12.024

中圖分類號(hào)TP391.41文獻(xiàn)標(biāo)識(shí)碼A

Test Platform of Automotive Instrument Using HIL and Machine Vision

ZHENG Yunlei,HUANG Yingping

(School of Optical-Electrical and Computer Engineering,University of Shanghai for

Science and Technology,Shanghai 200093,China)

AbstractThis paper presents an efficient approach for design validation of automotive instruments because of low efficiency of manual testing nowadays.The approach combines hardware-in-the-loop (HIL) and machine vision technologies.The system developed can simulate vehicle operations in real-time basis and inspect visual display of the instrument with an intelligent camera.A host computer controls the whole operation process and conducts fully-automated design validation testing.The simulation models and the image processing algorithms are introduced.Experiments are performed for validation of the functionalities of the light status,the needle pointer status and the character display in a laboratory testing platform,verifying the accuracy and stability of test results and showing the practical value of this system.

Keywordsvalidation testing;hardware in the loop;modeling and simulation;machine vision

隨著汽車電子控制單元(ECU)的快速發(fā)展,ECU的開發(fā)測(cè)試變?yōu)橐豁?xiàng)繁重的任務(wù)。傳統(tǒng)的測(cè)試依靠實(shí)驗(yàn)車的測(cè)試環(huán)境加人工執(zhí)行測(cè)試流程,難以滿足ECU在性能和可靠性上的開發(fā)需求。

硬件在環(huán)技術(shù)(Hardware in the Loop,HIL)是一種基于模型仿真的新型測(cè)試方法,近年來HIL技術(shù)已經(jīng)應(yīng)用在包括汽車開發(fā)和測(cè)試的多個(gè)領(lǐng)域。W Lee等[1]已開發(fā)了基于PC的硬件在環(huán)仿真平臺(tái)用于開發(fā)汽車發(fā)動(dòng)機(jī)控制系統(tǒng),Huang Y等[2]將這項(xiàng)技術(shù)應(yīng)用于汽車娛樂系統(tǒng)領(lǐng)域。Palladino A等[3]在HIL技術(shù)的基礎(chǔ)上,提出了用于測(cè)試發(fā)動(dòng)機(jī)控制和CAN線診斷功能的可攜帶電子設(shè)備。HIL技術(shù)將車輛行為在虛擬的環(huán)境下進(jìn)行實(shí)時(shí)仿真,已廣泛應(yīng)用于多種ECU的設(shè)計(jì)驗(yàn)證。

機(jī)器視覺技術(shù)是使用相機(jī)代替人眼進(jìn)行檢驗(yàn)、測(cè)量等工作,已廣泛應(yīng)用于生產(chǎn)、研究中[4-6]。Yi-Min Tsai[7]開發(fā)了基于機(jī)器視覺的道路車輛探測(cè)和跟蹤系統(tǒng),Huang Y[8]也用機(jī)器視覺系統(tǒng)進(jìn)行儀表的驗(yàn)證測(cè)試。機(jī)器視覺技術(shù)大幅提高了工業(yè)產(chǎn)品的開發(fā)效率,同時(shí)在一些不適合于人工作業(yè)的危險(xiǎn)工作環(huán)境或人眼難以滿足要求的場(chǎng)合,常用機(jī)器視覺來代替人眼工作。

本文介紹了一種有效的汽車組合儀表測(cè)試平臺(tái)。此開發(fā)平臺(tái)將硬件在環(huán)和機(jī)器視覺技術(shù)結(jié)合,可在虛擬的車輛環(huán)境下進(jìn)行完整的自動(dòng)化測(cè)試,進(jìn)而在提升產(chǎn)品可靠性的同時(shí)縮短了開發(fā)周期,具有一定的實(shí)用價(jià)值。

1系統(tǒng)配置

實(shí)驗(yàn)組合儀表的測(cè)試需求包括:(1)指示燈狀態(tài);(2)指針狀態(tài);(3)字符顯示。

圖1描述了系統(tǒng)的總體配置,主要模塊包括:上位機(jī)、HIL仿真器、測(cè)試儀表、智能相機(jī)和開發(fā)圖像作業(yè)PC。HIL仿真器可運(yùn)行開發(fā)的仿真模型并提供I/O信號(hào)、CAN信號(hào)來觸發(fā)組合儀表,另一邊一個(gè)智能相機(jī)被固定放置用來捕捉儀表實(shí)時(shí)畫面、處理圖像并將處理結(jié)果通過TCP/IP協(xié)議返回到上位機(jī)。另外,上位機(jī)可通過RS232串口來控制相機(jī)操作,包括觸發(fā)、停止?fàn)顟B(tài)和切換圖像處理作業(yè),開發(fā)圖像處理作業(yè)在一臺(tái)單獨(dú)的PC軟件環(huán)境下完成。

圖1　系統(tǒng)整體框圖

在這個(gè)系統(tǒng)中,上位機(jī)是控制中心,在手動(dòng)測(cè)試軟件界面上可以與HIL仿真器通信進(jìn)而控制組合儀表狀態(tài),同時(shí)可以用python語言創(chuàng)建測(cè)試案例來完成自動(dòng)化測(cè)試,測(cè)試完成后對(duì)各模塊測(cè)試結(jié)果進(jìn)行匯總生成html格式測(cè)試報(bào)告。

2硬件在環(huán)仿真分析

一輛現(xiàn)代汽車的電子系統(tǒng)由多個(gè)ECU組合并通過控制器局域網(wǎng)(Controller Area Network,CAN)相互通信。HIL仿真器能在開發(fā)測(cè)試一個(gè)控制單元時(shí)動(dòng)態(tài)模擬其他控制單元的狀態(tài),HIL技術(shù)使一個(gè)ECU的驗(yàn)證測(cè)試可在開發(fā)過程的早期階段進(jìn)行,當(dāng)汽車電子系統(tǒng)的其他單元還未完成?；谀Ｐ偷腅CU開發(fā)流程包括模型在環(huán)(Model-in-the-Loop,MIL),軟件在環(huán)(Software-in-the-Loop,SIL)和硬件在環(huán)(HIL)[9]。HIL是指一些ECU已完成而其他部分通過仿真模擬的開發(fā)測(cè)試狀態(tài)。

系統(tǒng)的仿真器基于xPCTarget平臺(tái),仿真模型的開發(fā)在Matlab/Simulink環(huán)境下完成?？刂平M合儀表的仿真信號(hào)包括低壓波形,數(shù)字I/O信號(hào)和CAN總線信號(hào),部分仿真信號(hào)如表1所示。

表1　部分仿真信號(hào)

圖2　整體仿真模型

汽車電子系統(tǒng)的電磁兼容性(EMC)測(cè)試是汽車電子設(shè)計(jì)開發(fā)過程中的重要內(nèi)容,例如汽車在點(diǎn)火啟動(dòng)、觸電跳動(dòng)或是電池緩慢漏電的電壓測(cè)試。為了涵蓋汽車運(yùn)行中可能的工作情況,本文采用固定參數(shù)、隨機(jī)參數(shù)兩種方式模擬電壓產(chǎn)生值,包括汽車點(diǎn)火啟動(dòng)電壓IgnitionVolt、間歇式電壓IntervalConnect、電池漏電電壓ElectricityLeakage這3種狀況下的波形。隨機(jī)參數(shù)控制時(shí),每個(gè)參數(shù)服從指定均值和方差的正太分布,這樣能更有效地測(cè)試汽車電子系統(tǒng)受沖擊后的性能,保證了測(cè)試的可復(fù)現(xiàn)性。

系統(tǒng)在Simulink中對(duì)電源模塊進(jìn)行仿真,模擬產(chǎn)生隨機(jī)變化的符合實(shí)際狀況的3種電壓波形,通過程控功率電源產(chǎn)生實(shí)際輸出。為在指定時(shí)間段內(nèi)進(jìn)行多次測(cè)試,即控制產(chǎn)生波形數(shù)量,可對(duì)產(chǎn)生的波形進(jìn)行計(jì)數(shù),波形序號(hào)發(fā)生改變時(shí)觸發(fā)產(chǎn)生新的隨機(jī)值,直到達(dá)到指定個(gè)數(shù)返回正常供電模式。

3視覺處理分析

3.1指示燈狀態(tài)檢測(cè)

系統(tǒng)選用美國Cognex公司的CCD型智能相機(jī)In-Sight Micro1403C,相機(jī)配套的In-Sight Explorer軟件提供了豐富的視覺工具庫[10]。在圖像處理前一般要進(jìn)行定位,以防儀表發(fā)生偏移或旋轉(zhuǎn)時(shí)查找不到指定區(qū)域。

判斷指示燈是否點(diǎn)亮可通過該區(qū)域的灰度值來判斷,首先將采集到的圖片進(jìn)行灰度化處理,利用模式識(shí)別的方法,設(shè)定一個(gè)閾值區(qū)分指示燈的亮滅狀態(tài),若獲取的灰度值大于該閾值則判定為點(diǎn)亮狀態(tài)1,反之為

圖3　低壓波形仿真

未點(diǎn)亮狀態(tài)0。可用軟件提供的ExtractHistogram函數(shù)獲取選定區(qū)域的灰度值,如需進(jìn)一步判斷顏色可通過ExtractColor進(jìn)行訓(xùn)練并提取。

判斷某些指示燈的閃爍頻率同樣可用通過灰度值來處理,記錄指示燈狀態(tài)0→1到下一次0→1時(shí)的間隔時(shí)間,進(jìn)而算出頻率。軟件提供了ShiftRegester函數(shù)記錄此數(shù)據(jù)的當(dāng)前和歷史狀態(tài),提供了SetEvent和Event來進(jìn)行觸發(fā)計(jì)時(shí)。

3.2指針狀態(tài)檢測(cè)

儀表盤上的轉(zhuǎn)速表和時(shí)速表刻度是均勻變化的,因此判斷指針位置讀數(shù)可通過測(cè)量指針旋轉(zhuǎn)的角度來進(jìn)行換算。獲取偏轉(zhuǎn)角度需要捕獲指針的零點(diǎn)位置和終止位置,可用軟件提供的FindMultiLine和FindCircle函數(shù)來記錄針頭和軸心位置,進(jìn)而用LineToLine函數(shù)求得起始線和終止線間的夾角。

圖4　指針狀態(tài)檢測(cè)

當(dāng)指針角度偏移量在單位觸發(fā)時(shí)間內(nèi)大于設(shè)定的閾值時(shí),可認(rèn)定指針在變化狀態(tài),可設(shè)未變化狀態(tài)為0,變化狀態(tài)為1,記錄此數(shù)據(jù)由0→1到鄰近的1→0時(shí)的間隔時(shí)間,然后計(jì)算角速度。對(duì)于指針的抖動(dòng)頻率,需要設(shè)定一個(gè)標(biāo)準(zhǔn)值,當(dāng)指針偏轉(zhuǎn)角度與標(biāo)準(zhǔn)值的差值超過一定閾值時(shí),判定為發(fā)生抖動(dòng),可設(shè)指示燈在閾值內(nèi)為狀態(tài)0,在閾值外為狀態(tài)1,一次抖動(dòng)周期經(jīng)歷了0→1,1→0,0→1和1→0的狀態(tài)變化,設(shè)定事件觸發(fā)可以獲取一次抖動(dòng)周期的時(shí)間,進(jìn)而求得指針的抖動(dòng)頻率。

3.3字符檢測(cè)

儀表盤上需要檢測(cè)的字符包括0-9、a-z和A-Z等,必須先建立一個(gè)標(biāo)準(zhǔn)字符庫涵蓋可能出現(xiàn)的字符,作為以后檢測(cè)時(shí)的模板,當(dāng)采集到的圖案與模板公差在一定范圍內(nèi),即得分大于指定閾值時(shí)判定為此模板字符。軟件提供了OCRMax函數(shù)可以自定義訓(xùn)練字符字集,然后讀取選定區(qū)域內(nèi)出現(xiàn)的字符。

4實(shí)驗(yàn)結(jié)果分析

上位機(jī)控制界面在軟件Smart Controller中完成,如圖5所示,可以手動(dòng)對(duì)各個(gè)控制信號(hào)進(jìn)行賦值,并接受智能相機(jī)返回的處理數(shù)據(jù)?？刂菩盘?hào)包括對(duì)電源、點(diǎn)火開關(guān)、指示燈和指針信號(hào)的控制等。返回的顯示信號(hào)包括電壓實(shí)時(shí)顯示、指示燈狀態(tài)、指針燈狀態(tài)、里程表顯示等。

圖5　上位機(jī)控制界面

3種電壓波形參數(shù)設(shè)置和仿真結(jié)果界面如圖6所示。參數(shù)設(shè)置包括低壓仿真類型、仿真次數(shù)及波形中各參數(shù)的均值和方差。

圖6　波形仿真界面

圖像處理實(shí)驗(yàn)在In-Sight Explorer軟件環(huán)境下進(jìn)行,一組實(shí)驗(yàn)檢測(cè)數(shù)據(jù)如表2所示,測(cè)試對(duì)象包括指示燈狀態(tài)、閃爍頻率、反饋時(shí)間等參數(shù)。

表2　一組實(shí)驗(yàn)檢測(cè)數(shù)據(jù)

5結(jié)束語

此系統(tǒng)可實(shí)時(shí)模擬真實(shí)的汽車儀表環(huán)境并通過HIL仿真器提供組合儀表的觸發(fā)信號(hào),用暗室中的相機(jī)采集、處理儀表狀態(tài)信息并將結(jié)果返回到上位機(jī),上位機(jī)PC控制整個(gè)自動(dòng)化流程。多次實(shí)驗(yàn)結(jié)果驗(yàn)證了此自動(dòng)化整車測(cè)試系統(tǒng)的準(zhǔn)確性和可行性,并可用腳本創(chuàng)建測(cè)試序列進(jìn)行重復(fù)性測(cè)試,大幅提高了整車測(cè)試的效率。

由于測(cè)試樣本有限,比如指針的抖動(dòng)頻率未能實(shí)現(xiàn)用次品進(jìn)行統(tǒng)計(jì)驗(yàn)證。同時(shí)汽車儀表盤的類型繁多,不同儀表盤的功能存在差異,需要對(duì)儀表盤建立對(duì)應(yīng)的仿真模型和視覺處理算法。總體來說,該測(cè)試方案具有良好的實(shí)用價(jià)值和發(fā)展空間。

參考文獻(xiàn)

[1]Lee W,Yoon M,Sunwoo M.A cost and time effective hardware-in-the-loop simulation platform for automotive engine control systems[J].Journal of Automobile Engineering,2003(217):41-52.

[2]Huang Y,Mc Murran R,Amor-Segan M.Development of an automated testing system for vehicle infotainment system[J].Advantage Manuf Technology,2010(51):233-246.

[3]Palladino A,Fiengo G,Lanzo D.A portable hardware-in-the-loop(HIL)device for automotive diagnostic control systems[J].ISA Transactions,2012(51):229-236.

[4]Kachan,Anna.Machine vision guides the automotive industry[J].Sensor Review,2004(22):119-124.

[5]徐友春,李克強(qiáng),連小珉.智能車輛機(jī)器視覺發(fā)展近況[J].汽車工程,2005,25(5):438-443.

[6]Robert Bogue.Robotic vision boosts automotive industry quality and productivity[J].Industrial Robot,2013(40):415-419.

[7]Yi-Min Tsai,Chih-Chung Tsai,Keng-Yen Huang,et al.An intelligent vision-based vehicle detection and tracking system for automotive applications[C].Beijing:IEEE international Conference on Consumer Electronics,2011.

[8]Huang Y,Mcmurran R,Dhadyalla G,et al.Model-based testing of a vehicle instrument cluster for design validation using machine vision[J].Meas Science Technology,2009(20):065502-065508.

[9]Josef B,Walid C,Michael S,et al.An automated software verification tool for model-based development of embedded systems with simulink[C].Berlin:22nd International Symposium on Information,2009.

[10]Cognex Corporation.Cognex vision toolbox manuals[M].MA,USA:Cognex Corporation,2009.