高級駕駛輔助測試可視化系統(tǒng)開發(fā)

楊軍典 陳凌珊

摘? 要：為了在高級駕駛輔助系統(tǒng)（ADAS）中對車輛控制算法進行驗證，可以利用維克托（Vector）工具鏈對汽車電子控制器（ECU）內(nèi)部的變量進行記錄，生成MDF（原版光盤映像文件）格式的測試數(shù)據(jù)文件，然后進行離線分析。利用Qt公司開發(fā)的豐富的可視化圖形控件Qt（跨平臺軟件開發(fā)框架）和Python（一種計算機程序設(shè)計語言）的強大數(shù)據(jù)處理能力，本文開發(fā)了一種可以對MDF文件進行解析并且可視化的軟件。該軟件可以實現(xiàn)變量的篩選功能，支持變量的樹狀顯示、多個變量測量值的二維時域圖形表示。特別地，ADAS感知到的環(huán)境目標，本軟件可以觀察其二維坐標隨時間的運動過程，并且支持畫面與用戶的交互操作。經(jīng)過測試，本軟件運行可靠，在某公司推廣使用。

關(guān)鍵詞：ADAS;測試;MDF解析;Qt;可視化

中圖分類號：TP311.52? ? ?文獻標識碼：A

文章編號：2096-1472（2021）-01-39-03

Abstract： In order to verify the vehicle control algorithm in the Advanced Driver Assistance System （ADAS）， Vector's tool chain can be used to record variables inside the automotive Electronic Control Unit （ECU）. Then， a test data file in MDF （Measurement Data Format） format is generated， and offline analysis can be performed. This paper proposes to develop a software that can analyze and visualize MDF files by utilizing Qt （the cross-platform software development framework） and Python （a computer programming language） developed by Qt Company. This software can realize the variable filtering function， support tree displays of variables and two-dimensional time-domain graphical representation of measured values of the multiple variables. In particular， the proposed software can observe the movement process of its two-dimensional coordinates over time for the environmental targets that ADAS perceives， and it supports the interactive operation of screen and user. Testing results show that the proposed software runs reliably and is being used by a company.

Keywords： ADAS; testing; MDF analysis; Qt; visualization

1? ?引言（Introduction）

在ADAS系統(tǒng)車輛ECU軟件的開發(fā)過程中，控制算法需要經(jīng)過不斷的設(shè)計、測試、修改迭代才能完成。在測試這一環(huán)節(jié)中，包括軟件在環(huán)測試（SIL）、硬件在環(huán)測試（HIL）和實車測試三種。在實車測試過程中，需要提前將軟件燒寫入汽車ECU，在汽車行駛過程中，通過XCP協(xié)議[1]和Vector公司的CAN工具，ECU可以記錄內(nèi)部變量，然后生成符合自動化及測量系統(tǒng)標準協(xié)會（ASAM[2]）標準的MDF[3]文件。通過將記錄的MDF文件回傳到算法開發(fā)人員手中，開發(fā)人員可以離線進行算法的驗證工作。因此，MDF文件的解析和可視化對算法的設(shè)計開發(fā)非常重要。雖然Vector公司已經(jīng)有對MDF文件進行解析和可視化的商業(yè)工具，但是其價格昂貴并且無法進行二次開發(fā)。本文的目標是設(shè)計一個可視化軟件，可以解析MDF文件，并且對文件中的變量進行二維顯示和三維的動態(tài)播放。

本文首先利用Python豐富的第三方工具包對MDF文件進行解析，然后使用Python的Numpy等數(shù)據(jù)科學(xué)包對MDF中的數(shù)據(jù)進行處理。由于需要存儲的變量較多，查詢、篩選頻繁，因此選用小型的SQLite3關(guān)系數(shù)據(jù)庫來組織文件中的數(shù)據(jù)。最后使用Qt豐富的控件庫，實現(xiàn)軟件的整體可視化界面設(shè)計。其中，在與用戶的交互操作模塊上，利用了強大的兼容Qt平臺的PyQtGraph[4]圖形庫，加快了開發(fā)過程。

2? MDF文件介紹和解析（The introduction and parse of MDF file）

2.1? ?歷史、版本及用途

MDF文件格式是20世紀90年代由歐洲的Bosch、Vector聯(lián)合大眾等汽車公司專門為汽車行業(yè)設(shè)計的一種通用文件格式，主要用于汽車電子ECU的開發(fā)、標定和測試領(lǐng)域，已經(jīng)成為該領(lǐng)域事實上的工業(yè)標準。由于測量數(shù)據(jù)的快速增長，在ASAM組織修訂下，MDF文件從2.0版本逐漸升級為目前的4.x版本，生成的數(shù)據(jù)文件后綴名為“.MF4”。MDF文件中記錄的典型數(shù)據(jù)有汽車傳感器信號、ECU內(nèi)部變量狀態(tài)等。這些存儲在MDF文件中的狀態(tài)信號，可以被算法人員回放，進行算法的驗證工作。本文主要專注于最新的MDF 4.x版本文件（即*.MF4文件）的解析和可視化。

2 .2? ?MF4文件介紹

一個MF4文件由若干個二進制模塊組合而成，每個模塊主要包含三個部分：文件頭、鏈接部分和數(shù)據(jù)部分，如圖1[5]所示。

模塊的類型有很多種，每種類型都定義了模塊的用途和內(nèi)容，由二位的大寫字母表示。主要的模塊類型有：ID（用于標識MDF文件）、HD（MDF文件的通用描述）、TX（記錄變量長度的字符容器）、CH（定義通道的邏輯結(jié)構(gòu)）、DG（描述數(shù)據(jù)分組）、CG（描述通道組）、CN（描述通道）、CC（描述每個通道數(shù)據(jù)的轉(zhuǎn)換）、DT（每個數(shù)據(jù)記錄的單個值）等。這些模塊按照一定的結(jié)構(gòu)存儲起來，便可以組成一個MDF文件，圖2描述了一個簡單模塊的物理存儲和層次結(jié)構(gòu)[5]。

由圖2可知，所有的變量在邏輯上是按照樹狀層級分布的，一個CN相當于一個變量名，描述了測量值的存放位置、字節(jié)數(shù)等信息。同一個CG是若干個變量名的集合，并且有相同的采樣率。DT是真正存儲數(shù)據(jù)值的地方，其內(nèi)部數(shù)據(jù)的布局如圖3所示[5]。

2.3? ?MDF文件解析

Python是一種動態(tài)的計算機語言，可以用于數(shù)據(jù)計算、軟件開發(fā)等。mdfreader[6]是Python的一個第三方開源工具包，可以用于讀取解析MDF文件格式，具體使用方法見文獻[6]。

使用mdfreader解析出MDF文件獲取的只是最原始的數(shù)據(jù)，需要按照一定的邏輯層次對數(shù)據(jù)進行篩選、整理、變換、存儲等操作。對于數(shù)據(jù)處理這部分，可以利用Python中著名的Numpy包進行數(shù)學(xué)運算。由于解析出來的數(shù)據(jù)存儲在內(nèi)存中，不能永久保存，因此在下節(jié)中使用數(shù)據(jù)庫技術(shù)來解決這一問題。

3? ?技術(shù)框架（Technical framework）

3.1? ?Qt和PyQt簡介

Qt是一個著名的面向?qū)ο?、跨平臺的C++圖形界面開發(fā)框架，可用于開發(fā)GUI程序，目前已經(jīng)更新到5.13版本。由于在上文中使用Python語言解析MDF文件，為了避免混合語言編程，本文選用Python語言開發(fā)GUI界面。

PyQt是由Python和Qt庫融合而成的一個工具包，允許開發(fā)者使用Python調(diào)用Qt庫中的應(yīng)用程序接口（API）創(chuàng)建GUI應(yīng)用程序。在本軟件開發(fā)中，使用與Qt5對應(yīng)的PyQt5模塊設(shè)計本軟件。

3.2? ?SQLite3數(shù)據(jù)庫

SQLite3是一個輕型，支持SQL語法的開源關(guān)系數(shù)據(jù)庫。關(guān)系數(shù)據(jù)庫使用多張二維表來存儲數(shù)據(jù)，每張表可以通過主關(guān)鍵字唯一確定一行數(shù)據(jù)。SQL是用于訪問和處理數(shù)據(jù)的標準計算機語言，通過在Python程序中調(diào)用SQL語言的接口，可以對SQLite3中的數(shù)據(jù)庫進行表格創(chuàng)建、數(shù)據(jù)查詢、篩選等，完成對MDF中測量數(shù)據(jù)的永久存儲和讀取。

3.3? ?PyQtGraph交互可視化庫

前文介紹了使用PyQt5進行GUI應(yīng)用程序的設(shè)計，但是Qt自帶的圖形庫中進行用戶交互的函數(shù)較少。PyQtGraph是一個基于PyQt/PySide和Numpy的純Python開源圖形GUI函數(shù)庫，補充了Qt在數(shù)據(jù)圖形與用戶交互方面能力不足的缺點，并且提供了幫助快速開發(fā)應(yīng)用程序的工具。因此，在本軟件需要與用戶交互的模塊中，使用PyQtGraph代替Qt進行快速開發(fā)。

4? ?軟件架構(gòu)（Software architecture ）

常用的軟件架構(gòu)一般分為三層：界面、服務(wù)和數(shù)據(jù)庫。界面負責(zé)與用戶的直接交互，需要布局合理、美觀。服務(wù)是軟件后臺對用戶界面中按鈕的功能實現(xiàn)，不對用戶開放。數(shù)據(jù)庫是用來保存軟件中所產(chǎn)生的大量數(shù)據(jù)，與服務(wù)進行交互，提供存儲、提取功能。按照這一邏輯，設(shè)計本軟件的架構(gòu)層次如圖4所示。其中Python調(diào)用SQLite3數(shù)據(jù)庫的方法可以在參考文獻[7]中進行查詢，數(shù)據(jù)與服務(wù)端的交互邏輯在前文中進行了穿插介紹。

4.1? ?界面設(shè)計

使用PyQt5寫GUI界面可以通過直接手寫Python代碼實現(xiàn)，但更方便的辦法是使用Qt Designer進行按鈕的拖拉放置和布局設(shè)計。使用Qt Designer可以實現(xiàn)軟件界面和邏輯的分離，加速開發(fā)速度，生成的*.ui文件可以通過PyQt5自帶的pyuic5工具自動轉(zhuǎn)換成對應(yīng)的Python代碼。因此，本文采用這種方法進行如圖4所示三個界面的開發(fā)任務(wù)。

在變量樹狀、表格顯示界面，需要實現(xiàn)文件的導(dǎo)入，后臺服務(wù)將文件解析之后將文件內(nèi)部的變量以樹狀的形式展示給用戶。使用Qt Designer設(shè)計此界面如圖5所示。當用戶想要查看某些變量的值時，可以通過在樹狀圖中選擇某些變量，然后點擊表格顯示按鈕，實現(xiàn)在右上側(cè)的觀察。界面的右下側(cè)顯示了被測試車輛的長寬高、傳感器安裝位置有關(guān)的幾何靜態(tài)參數(shù)。使用同樣的方法設(shè)計其余兩個界面，具體過程不再贅述。

4.2 服務(wù)實現(xiàn)

在界面的設(shè)計中實現(xiàn)了許多按鈕，比如導(dǎo)入文件等操作，這些按鈕背后的具體操作需要在服務(wù)中實現(xiàn)。對于實現(xiàn)點擊按鈕打開文件等簡單的操作，可以在文獻[7]中進行查詢，以下著重闡述數(shù)據(jù)的樹狀、表格顯示，二維時域顯示和三維播放功能。

4.2.1? ?樹狀、表格顯示

在Qt5上面用于界面組件顯示與編輯的數(shù)據(jù)結(jié)構(gòu)是模型/視圖結(jié)構(gòu)（Model/View）。視圖是用來可視化和編輯數(shù)據(jù)的界面組件，模型是視圖與數(shù)據(jù)可視化的接口，數(shù)據(jù)通過代理與編輯，可以把數(shù)據(jù)和界面分離開來，如圖6[8]所示。Qt自帶的QSqlQueryModel可直接執(zhí)行SQL語句，從數(shù)據(jù)庫中讀取數(shù)據(jù)，然后使用QTableView將讀取的數(shù)據(jù)以表格的形式顯示出來，詳細使用見文獻[8]。由于Qt的數(shù)據(jù)結(jié)構(gòu)只給出了QTreeView，因此樹狀數(shù)據(jù)顯示的難點在于從QStandardItemModel基礎(chǔ)上進行樹狀模型的定制。

QStandardItemModel是一種基于數(shù)據(jù)項的數(shù)據(jù)結(jié)構(gòu)，由用戶組織數(shù)據(jù)項的結(jié)構(gòu)。數(shù)據(jù)項的類型是QStandardItem，保存著數(shù)據(jù)、文字、圖標等顯示信息，并且可以設(shè)置為是否可編輯、選取等。根據(jù)圖2所示，將DG、CG、CN均表示成一個數(shù)據(jù)項，然后使用QStandardItemModel的setItem函數(shù)對數(shù)據(jù)項進行排布，形成樹狀結(jié)構(gòu)。如圖7所示為使用上述方法導(dǎo)入一個示例MF4文件后，變量的樹狀和表格顯示結(jié)果。

4.2.2? ?二維時域顯示

除了可以使用表格的形式顯示變量外，更直觀的方法是使用二維圖形表示。當用戶更新了選擇的變量時，二維圖形也可以動態(tài)地更新。除此之外，當用戶點擊圖形中的某個采樣點時，可以將采樣點處的數(shù)據(jù)標注出來，并且可以自由地使用鼠標進行圖形的縮放、平移。為了滿足這些人機交互功能，這里采用PyQtGraph進行開發(fā)。

PyQtGraph工具庫自帶了支持鼠標交互操作的后臺，因此，這一模塊開發(fā)的重點在于如何動態(tài)地更新二維圖形的數(shù)量和采樣點處的數(shù)據(jù)顯示。PyQtGraph工具庫和Qt圖形框架的本質(zhì)是一樣的，圖形顯示的原理是首先生成一塊畫布，所有的圖形元素按照一樣的布局在畫布上放置。當用戶選擇的變量變化時，首先需要使用布局畫布變量GraphicsLayout的clear函數(shù)清除畫布中已有變量的二維圖形，然后再生成新變量的二維圖形。當鼠標點擊曲線中的某個采樣點時，使用PyQtGraph.CurvePoint建立一個錨點，然后以這個錨點為基準新建一個標簽顯示采樣值。為了實現(xiàn)采樣數(shù)據(jù)的動態(tài)更新，每次鼠標重新選擇采樣點時，從畫布包含的圖形元素中篩選并移除所有CurevePoint類型的錨點元素，最后再生成新采樣點處的錨點和數(shù)據(jù)標簽。如圖8所示為某一MF4文件中選取三個變量的二維時域顯示圖形。

4.2.3? ?三維播放功能

在ADAS中，汽車的傳感器會將車輛周圍環(huán)境中目標的坐標、速度、加速度等狀態(tài)信息發(fā)送給ECU，然后控制算法會根據(jù)感知信息作出相應(yīng)的動作。隨著時間的不斷前進，目標的二維坐標值會隨著發(fā)生變化。因此，對這些信息，需要使用播放功能表達。

實現(xiàn)三維播放功能有兩個難點：（1）如何在所有變量中提取環(huán)境目標的坐標值;（2）如何設(shè)置播放功能。每家公司的變量名都有一定的命名規(guī)范，因此通過查找公司的相關(guān)文件，對MDF文件中解析出來的變量名稱建立符合環(huán)境目標命名規(guī)

范的正則表達式，就可以提取出環(huán)境目標的變量名。找到變量名之后，可以建立一個二維列表樣式的數(shù)據(jù)結(jié)構(gòu)，每一行是[采樣時刻，目標1-x坐標，目標1-y坐標，目標2-x坐標，目標2-y坐標，...]，這樣就可以獲得所需要的數(shù)據(jù)，解決了難點（1）的問題。針對難點（2），需要設(shè)計一個簡單的播放器狀態(tài)機，為了實現(xiàn)播放進程和單幀進行的功能，可以設(shè)計一個滑動條和按鈕進行控制。利用上述方法導(dǎo)入某MF4文件后的三維動態(tài)顯示結(jié)果如圖9所示，當目標動態(tài)運動時，使用前文中方法顯示目標的一些動態(tài)屬性，如瞬時速度、加速度等，并在右側(cè)使用表格和樹狀結(jié)構(gòu)顯示了一些目標的屬性值。

5? ?結(jié)論（Conclusion）

本文介紹了一種使用Qt可視化高級駕駛輔助系統(tǒng)測試數(shù)據(jù)的方法。本方法簡單、快速，使用開源工具包，而且可以針對ADAS測試過程中的需求進行定制。經(jīng)某公司驗證，該軟件簡單、實用，運行穩(wěn)定，為ADAS控制算法的開發(fā)、驗證工作提供了保障。

參考文獻（References）

[1] 任銀行，張建龍，殷承良.基于XCP協(xié)議支持多總線的ECU標定系統(tǒng)的實現(xiàn)[J].電子技術(shù)應(yīng)用，2018，44（5）：72-76.

[2] 宋維群，楊世春，李明，等.基于ASAM標準的標定數(shù)據(jù)庫邏輯分析與編程實現(xiàn)[J].汽車技術(shù)，2012（1）：10-13.

[3] 董新宇，張春，姜承賦，等.MDF存儲格式在柴油機匹配標定軟件中的應(yīng)用[J].現(xiàn)代車用動力，2011（2）：29-31.

[4] PyQtGraph官方文檔及API[EB/OL]. https：//pyqtgraph.readthedocs.io/en/latest，2020-6-10.

[5] ASAM. MDF標準官方維基百科[EB/OL]. https：//www.asam.net/standards/detail/mdf/wiki，2020-6-10.

[6] Mdfreader-基于Python的MDF文件解析工具[EB/OL]. https：//github.com/ratal/mdfreader.git.

[7] 王碩，孫洋洋.PyQt5快速開發(fā)與實戰(zhàn)[M].北京：電子工業(yè)出版社，2017.

[8] 陸文周.Qt5開發(fā)及實例（第3版）[M].北京：電子工業(yè)出版社，2017.

作者簡介：

楊軍典（1990-），男，碩士生.研究領(lǐng)域：ADAS感知系統(tǒng)及控制策略算法.

陳凌珊（1966-），女，博士，教授.研究領(lǐng)域：新能源汽車技術(shù)，智能駕駛控制技術(shù).