智慧檢測中汽車檢測多源異構數據解析研究

潘小龍 牛增良

1.中汽研軟件測評（天津）有限公司 天津 300300

2.中國汽車技術研究中心有限公司 天津 300300

1 背景

汽車產業(yè)作為國民經濟的重要支柱，是推動新一輪科技革命和產業(yè)革命的重要力量，是我國建設制造強國的重要支撐。檢驗檢測是國家質量基礎設施的重要組成部分，是國際通行的質量管理工作和貿易便利化手段。檢驗檢測是國家質量基礎設施的重要組成部分，是國際通行的質量管理工作和貿易便利化手段。作為高技術服務業(yè)、生產性服務業(yè)、科技服務業(yè)和戰(zhàn)略性新興產業(yè)，檢驗檢測對于國家和地區(qū)保障質量安全、提高產業(yè)競爭力、促進國際貿易、維護市場公平、推動高質量發(fā)展具有重要作用。近期有關智慧檢測的消息頻頻發(fā)布，從政策層面來看，政策扶持力度加大。國家發(fā)改委發(fā)布的《戰(zhàn)略性新興產業(yè)重點產品和服務指導目錄》明確將檢驗檢測服務列為戰(zhàn)略性新興產業(yè)之一；國務院發(fā)布的《“十三五”國家戰(zhàn)略新興產業(yè)發(fā)展規(guī)劃》強調加強相關計量測試、檢驗檢測、認證認可、知識和數據中心等公共服務平臺建設。除此以外，國家還陸續(xù)出臺了智能制造發(fā)展規(guī)劃、“互聯網+”行動、國家信息化發(fā)展綱要、促進大數據發(fā)展行動綱要、新一代人工智能發(fā)展規(guī)劃等系列重大戰(zhàn)略和政策措施，從戰(zhàn)略層面支持推動數字經濟發(fā)展，解決數據孤島的問題，實現試驗設備的互聯互通，打通各試驗科室的檢測數據，提高數據分析與挖掘的效率。

大數據技術體系的發(fā)展愈趨成熟，基礎的技術包含數據的采集、數據預處理、分布式存儲、NoSQL數據庫、數據倉庫、機器學習、并行計算、可視化等，為本課題的實現提供了扎實的技術基礎。此外，以新一代信息技術為代表的全球性創(chuàng)新突破正不斷加速，孕育著新的增長動能，物聯網面臨著全新的發(fā)展機遇。汽車“新四化”時代已經到來，汽車檢測行業(yè)也應隨之配套升級，目前在線檢測已逐步成為檢測新趨勢、新常態(tài)，中心要想持續(xù)保持行業(yè)引領地位，在自動化、智能化、數字化技術領域進行深入研究和全面布局勢在必行[1]。

2 研究必要性

汽車企業(yè)為解決自身發(fā)展中面臨的難以快速感知和響應市場需求、提質降本增效技術手段缺失等一系列問題，國內主要汽車制造企業(yè)和車檢企業(yè)正在積極探索適用于企業(yè)自身實際的智能化轉型升級路徑，將智能制造轉型發(fā)展和智慧檢測平臺搭建作為產業(yè)升級的主攻方向，開展了一批試點項目，得到了國家的大力支持?；谥悄苤圃旒軜嫷闹腔蹤z測平臺已經成為國家、行業(yè)、企業(yè)的共同選擇。

國家歷來高度重視汽車行業(yè)智能制造的落地應用，在“制造業(yè)高質量發(fā)展”及各部委頒布的智能制造相關政策中，均將汽車行業(yè)列為智能制造的重點應用領域，希望汽車行業(yè)能夠作為離散工業(yè)智能制造的標桿和突破口，推進智能制造技術創(chuàng)新、標準制定、基礎能力建設和集成應用等，引領和帶動汽車制造業(yè)整體的智能化轉型升級。為迎合市場需求，檢測業(yè)務亟須進行信息化、數字化業(yè)務提升，為客戶提供數據增值服務，新車型研發(fā)過程中對研發(fā)測試大數據及數據挖掘分析具有廣泛市場需求。

多源異構數據的研究和應用能加快汽車檢測工作的整體流程，進而提升汽車產品的研發(fā)質量和效率，根據試驗種類、試驗數據及數據處理流程的不同，協助工程師高效地處理相關測試數據，能顯著提升檢測工程師的工作效率，有利于提升檢測數據處理正確率。多源異構數據存儲分析解決方案有利于打破汽車檢測行業(yè)信息孤島現狀，深度挖掘檢測大數據，支撐汽車行業(yè)生產研發(fā)，加速汽車行業(yè)在智慧檢測方面知識沉淀、知識傳遞、知識創(chuàng)造的過程，為行業(yè)高質量發(fā)展賦能?；谥腔蹤z測平臺的大數據分析、檢測設備無線改造升級行業(yè)推廣應用，能夠有效提升汽車產品整體研發(fā)檢測能力，推動汽車行業(yè)的創(chuàng)新發(fā)展[2]。

3 目的及意義

智慧檢測及多源異構數據的研究，有利于推進智能檢測技術創(chuàng)新、標準制定、基礎能力建設和集成應用，引領和帶動我國整體檢驗檢測行業(yè)數字化轉型升級。汽車檢測多源異構數據解析通過建立網絡互聯體系、標識解析體系和數據互通體系，形成數字化、網絡化、智能化中樞與載體，能夠有效解決數據孤島的問題，實現各試驗科室檢測數據，提高數據分析與挖掘的效率。

從經濟層面來看，檢測服務作為單一的經濟收入來源已漸漸無法支撐行業(yè)發(fā)展的最新變化趨勢，智慧檢測平臺能夠協助檢測機構實現由單一的檢測業(yè)務向基于檢測服務的試驗數據分析與研發(fā)信息服務的業(yè)務體系轉變。為迎合市場需求，檢測業(yè)務亟須進行信息化、數字化業(yè)務提升，為客戶提供數據增值服務。新車型研發(fā)過程中對研發(fā)測試大數據及數據挖掘分析具有廣泛市場需求，未來很大部分增量業(yè)務將來自智慧檢測相關業(yè)務領域。

從技術層面來看，大數據技術體系的發(fā)展愈趨成熟，以新一代信息技術為代表的全球性創(chuàng)新突破正不斷加速，孕育著新的增長動能。汽車“新四化”時代已經到來，汽車檢測行業(yè)也應隨之配套升級，目前在線檢測已逐步成為檢測新趨勢、新常態(tài)，通過檢測多源異構數據的分析及應用，能夠進一步挖掘數據的應用價值，根據不同客戶需求，為其提供更多高附加值的增值服務，如檢測數據解讀、檢測問題分析、行業(yè)標桿能力對比分析等咨詢服務，從而為企業(yè)帶來更多市場發(fā)展空間[3]。

4 研究內容

測試驗數據存儲形式主要分為兩大類：由試驗儀器生成的數據文件和試驗人員手寫的紙質文件。不同試驗原始數據尚未有效進行統一存儲，大部分結構和非結構數據都保存在主檢工程師辦公電腦里，無法自動化的進行解析和處理。

對此，本文將研究電子記錄模板標準化，構建統一試驗記錄模型，實現原始記錄電子化管理與溯源；研究檢測記錄解析技術，實現不同檢測設備的試驗記錄進行重新整合、分析處理，打通設備之間的壁壘；按試驗類型的不同，利用Hadoop、Kafka、ZooKeeper等分布式大數據及隊列處理技術，完成MDF、CSV、json、proto、xml等超過20種試驗記錄格式的解析和存儲管理。

4.1 試驗數據安全存儲的研究

在安全策略的統一要求下，借助于云技術、虛擬化技術、分布式存儲技術，在異地檢測試驗室之間，搭建一套安全的、可靠的、標準化的數據存儲環(huán)境。通過課題研究，改變以往試驗數據人工匯總的方式，實現了數據的自動匯總和整理，降低以往試驗數據轉存的風險；利用云技術在網絡安全的優(yōu)勢，提升數據存儲環(huán)境應對外部網絡攻擊的能力，最終制定一套檢測數據安全存儲標準，并為下一步對檢測數據的深度挖掘，做好保障工作。

4.2 試驗原始數據模板標準化研究

本次研究選取了輕排、重排和新能源三類試驗作為試點，將對三類試驗所產生的數據進行整理和分析，研究三類試驗的試驗數據統一標準模板，實現試驗原始數據與標準模板的自動轉化。針對紙質原始數據，分析數據類別，量化數值。通過對原始數據的整理，研究制訂檢測記錄統一格式標準草案。

4.3 試驗原始數據電子化與存儲技術研究

根據試驗和儀器種類的不同，試驗數據格式包括了CSV、XML、JSON等多種類型，依據統一化標準模板，研究多源異構數據存儲方案，利用結構和非結構化相結合的數據存儲方式，實現經過統一化處理的原始數據的存儲。原始記錄電子化具有修改控制和數據溯源的功能，實現檢測、核驗人員電子簽名，在原始記錄修改過程中，實現對原始記錄修改的控制和記錄，當記錄中出現錯誤時，只能由檢定、校準和檢測人員更改，應保留修改痕跡，可以保證追查修改人及修改時間；檢定、校準和檢測電子原始記錄留有開始與結束時間戳，保證是現場填寫的第一手記錄，不允許追記、補寫、涂改；電子原始記錄在錄入過程中有自動有效性檢驗，當數據偏離達到設定值時，自動給出提示，減少和盡量避免輸入誤差。電子原始記錄系統應為記錄提供所具有的實時性、真實性、完整性、準確性、可靠性，以保證檢測數據記錄的真實準確。

4.4 多源異構檢測記錄解析系統

根據原始記錄的試驗模板，運用Java Spring Boot框架和微服務技術，對多遠異構檢測記錄解析系統進行整體架構，利用Hadoop、Jafka、ZooKeeper等分布式大數據及隊列處理技術，解決試點科室所有試驗數據集中存儲，保證上層應用獲取數據的速度。同時，利用MongoDB等非關系型數據庫和MySql、Oracle等關系型數據庫的結合使用，解決原始數據多樣性的問題。通過調用API接口訪問資源系統，把源文件編譯生成一種二進制中間碼，存儲在class文件中，然后再通過運行與操作系統平臺環(huán)境相對應的Java虛擬機來運行class文件，執(zhí)行編譯產生的字節(jié)碼，調用class文件中實現的方法來滿足程序的Java API調用，從而將模板電子化。通過設備互聯直接讀取相關試驗設備的數據庫或者中控機存儲的試驗原始記錄數據，從而將原始數據自動導入相應的位置，形成原始記錄電子化[4]。

5 結束語

在經濟效益方面，開拓業(yè)務增長點，助力檢測業(yè)務增效賦能。多源異構數據分析挖掘服務能夠為整車研發(fā)提供更加豐富的研發(fā)數據支撐，有效地縮短整車研發(fā)周期，并有助于降低整車開發(fā)時間、人力和經濟成本，從而為車企和中心帶來良好的經濟效益。同時，隨著企業(yè)全球化業(yè)務的展開，對產品研發(fā)工作，將提出更多的跨部門、跨地區(qū)協同工作的需求，平臺化數據共享將是大勢所趨，未來企業(yè)可通過購買或者租賃的形式來使用本項目研發(fā)的數據平臺，將會帶來的可觀的經濟效益。

在社會效益方面，實現了新一代信息通信技術與制造業(yè)深度融合，與我國汽車產業(yè)研發(fā)、生產、檢測面臨重大變革形成歷史性交匯。多源異構數據的研究，能夠加速數據技術在汽車行業(yè)的應用，有利于培育檢測業(yè)務、數據分析、平臺搭建復合型管理人才；檢測大數據分析挖掘業(yè)務可以幫助實現新車型研發(fā)過程中對研發(fā)測試大數據及數據挖掘分析的廣泛市場需求，提升車型研發(fā)驗證服務能力和水平，帶動業(yè)務增量，實現數據時代下的升級轉型。

在成果應用方面，攻克檢測設備數采、5G組網、異地互聯、多源異構數據存儲與解析等共性技術難題，支撐檢測及可追溯質控、報告自動生成深度學習算法研究，為行業(yè)企業(yè)檢測試驗室、制造車間及工廠數字化、網絡化、智能化改造提供技術服務。

在產業(yè)化銜接方面，加速推動汽車行業(yè)智能制造產業(yè)發(fā)展。通過本課題研究，實現從數據采集、數據存儲、數據挖掘、決策分析全流程的智慧化解決方案，能夠加速提高新興信息技術與傳統檢測業(yè)務的融合，提高檢測效率和檢測質量，培育智慧檢測、仿真測試、數據挖掘、設備互聯等新業(yè)務增長點。同時，有效支撐相關標準制定，助推智慧檢測行業(yè)有序、快速發(fā)展。