基于大數(shù)據(jù)分析比對的智慧審查系統(tǒng)設(shè)計與實現(xiàn)

胡葳　侯慶坤　齊鑫

摘 要：電子政務(wù)數(shù)字化是建設(shè)“數(shù)字政府”的重要抓手，高效、便捷的政務(wù)系統(tǒng)建設(shè)可以推進政府管理模式創(chuàng)新。為了加強對產(chǎn)品的管理，智慧審查系統(tǒng)通過對產(chǎn)品的數(shù)據(jù)規(guī)范性，檢測端與企業(yè)端數(shù)據(jù)比對，檢驗項目、企業(yè)資質(zhì)校驗和信息的規(guī)范管理，實現(xiàn)了企業(yè)產(chǎn)品數(shù)據(jù)和報告數(shù)據(jù)的智慧化審核，從而降低了人力成本，強化了管理機構(gòu)溯源能力和數(shù)據(jù)支撐決策能力，輔助政府相關(guān)部門在事中事后進行監(jiān)管，提高了監(jiān)管規(guī)范性和透明度，順應(yīng)了汽車行業(yè)電子政務(wù)數(shù)字化轉(zhuǎn)型發(fā)展趨勢。

關(guān)鍵詞：產(chǎn)品審查 大數(shù)據(jù) 信息比對 統(tǒng)計分析

Design and Implementation of Smart Review System based on Big Data Analysis and Comparison

Hu Wei，Hou Qingkun，Qi Xin

Abstract：The digitization of e-government affairs is an important starting point for the construction of a "digital government". The construction of an efficient and convenient government affairs system can promote the innovation of government management models. To strengthen the management of products， the smart review system realizes the wisdom of enterprise product data and report data through the standardization of product data， the comparison of data from the testing end and the enterprise end， inspection items， enterprise qualification verification and information standardization. It reduces labor costs， strengthens the traceability and data-supported decision-making capabilities of the management organization， assists relevant government departments to supervise during and after the event， improves regulatory standardization and transparency， and conforms to the development trend of digital transformation of e-government in the automotive industry.

Key words：product review， big data， information comparison， statistical analysis

1 引言

隨著社會的飛速發(fā)展和人民生活水平的不斷提高，我國汽車需求量和保有量持續(xù)快速增長，人民對汽車安全要求越來越高，如何提升車輛審查的準(zhǔn)確性、高效性、檢測的可追溯性，已經(jīng)成為我國智慧城市、智慧交通、智慧政務(wù)的建設(shè)迫切要求。

為了加強對產(chǎn)品的管理，解決傳統(tǒng)人工審查項目工作量大、審查效率低等問題，構(gòu)建智慧審查系統(tǒng)，應(yīng)用于產(chǎn)品受理審查、產(chǎn)品技術(shù)審查、審核信息溯源和審查質(zhì)量分析工作，從而提升車輛審查的準(zhǔn)確性、高效性、檢測的可追溯性，審查數(shù)據(jù)的可分析性等。

2 研究背景

產(chǎn)品數(shù)據(jù)是一種無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要大量人員處理才能具有更強的決策力、洞察力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。車輛審查問題集中在審查業(yè)務(wù)多樣，數(shù)據(jù)量大、數(shù)據(jù)類型多樣等方面，傳統(tǒng)的審核模式，其審核周期長、數(shù)據(jù)可追溯性差，人工審核圖片準(zhǔn)確率低。智慧審查系統(tǒng)應(yīng)用的大數(shù)據(jù)分析比對技術(shù)主要有三個方面，大數(shù)據(jù)預(yù)處理、大數(shù)據(jù)分析與挖掘和可視化呈現(xiàn)[1，2]。其中大數(shù)據(jù)分析與挖掘是大數(shù)據(jù)處理體系的核心，其目標(biāo)是通過一定的分析和挖掘技術(shù)發(fā)現(xiàn)大數(shù)據(jù)中隱藏的有價值的信息或知識從而輔助決策?？梢暬尸F(xiàn)是為了讓審查人員更好地理解數(shù)據(jù)分析和挖掘的結(jié)果，將挖掘到的數(shù)據(jù)信息在終端以友好、易于理解的方式直觀展示，為產(chǎn)品審查提供支持。

3 智慧審查系統(tǒng)功能設(shè)計

智慧審查系統(tǒng)應(yīng)用架構(gòu)由數(shù)據(jù)層、支撐層、功能層和展現(xiàn)層組成。數(shù)據(jù)層提供數(shù)據(jù)接入和數(shù)據(jù)存儲的能力，確保系統(tǒng)從企業(yè)和檢測機構(gòu)端數(shù)據(jù)的接入。支撐層包括了系統(tǒng)管理、專家管理、檢測機構(gòu)管理、權(quán)限管理、文件管理和流程管理，可實現(xiàn)對企業(yè)、檢測機構(gòu)和審查部門等多個對象的管理，保障審查工作的順利實施。功能層主要包括了數(shù)據(jù)比對、資質(zhì)校驗、圖像識別和統(tǒng)計分析等功能，系統(tǒng)可根據(jù)實際情況選擇合適的審查方法，專家通過系統(tǒng)完成審查工作。展現(xiàn)層是系統(tǒng)與專家交互的門戶，審查結(jié)果通過門戶進行展示。

智慧審查系統(tǒng)主要對企業(yè)申報的數(shù)據(jù)，檢測機構(gòu)的申報數(shù)據(jù)進行多方位校驗，實現(xiàn)產(chǎn)品審查的主要功能。

企業(yè)申報端將需要審查的項目資料上傳到系統(tǒng)。檢測機構(gòu)申報端建立電子報告采集車輛配置及關(guān)鍵性能指標(biāo)數(shù)據(jù)，指將涉及車輛配置及關(guān)鍵性能指標(biāo)以電子報告的形式從檢測機構(gòu)采集，用于后續(xù)與企業(yè)填報車輛配置及性能指標(biāo)進行比對。根據(jù)現(xiàn)行的常規(guī)燃料消耗量國家標(biāo)準(zhǔn)建立限值數(shù)據(jù)庫;對相關(guān)申報所涉及的檢驗報告的齊全性及與產(chǎn)品報告的一致性進行校驗;將企業(yè)填報的相關(guān)性能指標(biāo)與政策技術(shù)要求進行比對，并進行符合性判定。最后根據(jù)各車型發(fā)布參數(shù)要求導(dǎo)出數(shù)據(jù)并將審查結(jié)論輸出反饋給企業(yè)。針對汽車生產(chǎn)企業(yè)、檢測機構(gòu)、審核專家、系統(tǒng)管理員等不同角色，分別設(shè)計功能流程，通過系統(tǒng)實現(xiàn)智慧審查系統(tǒng)流程。

4 智慧審查系統(tǒng)系統(tǒng)實現(xiàn)

系統(tǒng)采用Java企業(yè)版作為開發(fā)工具和部署平臺，保證跨平臺性;采用基于SOAP協(xié)議和XML格式的Web服務(wù)作為與外部系統(tǒng)的集成接口，保證數(shù)據(jù)交換共享;采用B/S架構(gòu)和HTML/CSS/JavaScript，保證應(yīng)用在各類瀏覽器中的一致性。系統(tǒng)技術(shù)架構(gòu)基于大數(shù)據(jù)、圖像識別技術(shù)，建立了智慧審查系統(tǒng)，強化系統(tǒng)的溯源能力和數(shù)據(jù)支撐決策能力。

4.1 大數(shù)據(jù)統(tǒng)計分析技術(shù)的實現(xiàn)

通過大數(shù)據(jù)對企業(yè)申報各類數(shù)據(jù)進行基礎(chǔ)數(shù)據(jù)分析，實現(xiàn)任務(wù)統(tǒng)計分析和質(zhì)量分析[3]，數(shù)據(jù)處理過程如圖1所示。

第一步，數(shù)據(jù)獲取，源數(shù)據(jù)導(dǎo)入ETL，來源于企業(yè)申報系統(tǒng)、產(chǎn)品申報系統(tǒng)、檢驗機構(gòu)申報系統(tǒng)、試驗場地備案系統(tǒng)以及其他申報系統(tǒng)的數(shù)據(jù)，以及通過接口或爬蟲獲取的數(shù)據(jù)，通過ETL工具對接口文件數(shù)據(jù)進行編碼替換和數(shù)據(jù)清洗轉(zhuǎn)換，不做關(guān)聯(lián)操作。

第二步，數(shù)據(jù)處理，將通過ETL采集的數(shù)據(jù)，進行清洗、轉(zhuǎn)換和加載，把原始數(shù)據(jù)加載到Hadoop平臺，再將把加工后的數(shù)據(jù)加載分布式數(shù)據(jù)庫和主數(shù)據(jù)倉庫。

Hadoop云平臺，負(fù)責(zé)存儲海量的檢驗數(shù)據(jù)，提供并行的計算和非結(jié)構(gòu)化數(shù)據(jù)的處理能力，實現(xiàn)低成本的存儲和低時延、高并發(fā)的查詢能力。分布式數(shù)據(jù)庫（MPP），負(fù)責(zé)存儲加工、關(guān)聯(lián)、匯總后的業(yè)務(wù)數(shù)據(jù)，并提供分布式計算，支撐數(shù)據(jù)深度分析和數(shù)據(jù)挖掘能力，向主數(shù)據(jù)倉庫輸出KPI和高度匯總數(shù)據(jù)[4，5]。主數(shù)據(jù)倉庫，負(fù)責(zé)存儲指標(biāo)數(shù)據(jù)、KPI數(shù)據(jù)和高度匯總數(shù)據(jù)，包括產(chǎn)品數(shù)據(jù)、試驗數(shù)據(jù)、企業(yè)信息、檢測機構(gòu)信息，國家政策和制度文件，國家及行業(yè)標(biāo)準(zhǔn)文件等。

第三步，通過數(shù)據(jù)開放接口向大數(shù)據(jù)應(yīng)用方提供數(shù)據(jù)，從而體現(xiàn)大數(shù)據(jù)平臺的能力，包括基礎(chǔ)分析能力、多維分析能力、數(shù)據(jù)挖掘能力、實時分析能力、自助分析能力和數(shù)據(jù)共享能力。智慧審查系統(tǒng)大數(shù)據(jù)應(yīng)用于大數(shù)據(jù)可視化、BI報表、應(yīng)用系統(tǒng)支持和數(shù)據(jù)傳輸。

4.2 圖片識別技術(shù)的實現(xiàn)

通過圖片識別技術(shù)，能夠篩選出復(fù)用的檢驗報告，識別出經(jīng)過處理的圖片及文件，并對其標(biāo)記[6，7]。由此建立起智慧審查系統(tǒng)，能夠降低人力成本、提高審核效率，實現(xiàn)檢測能力分析和數(shù)據(jù)可追溯。

通過圖片智能識別技術(shù)對檢驗申報文件中圖片信息進行解析，每張圖片都生成獨立的“圖片指紋”對其進行前置過濾[8，9]。根據(jù)每張圖片的獨立“圖片指紋”信息，對比目標(biāo)檢測文件中的圖片信息與系統(tǒng)數(shù)據(jù)資源庫中源文件相似度，進行圖片文件的同一性檢測。

5 結(jié)語

本文研究了將大數(shù)據(jù)分析比對技術(shù)應(yīng)用于產(chǎn)品的智慧審查系統(tǒng)，解決了傳統(tǒng)人工審查工作量大，容易產(chǎn)生錯誤等問題，有效整合了企業(yè)，政府，檢測機構(gòu)的信息資源，實現(xiàn)了“政、企、檢測機構(gòu)”的系統(tǒng)化管理。智慧審查系統(tǒng)通過對產(chǎn)品的數(shù)據(jù)規(guī)范性，檢測端與企業(yè)端數(shù)據(jù)比對，企業(yè)、檢驗項目等資質(zhì)校驗和產(chǎn)品信息的規(guī)范管理，完成了產(chǎn)品數(shù)據(jù)和報告數(shù)據(jù)的智慧化審核，降低人力成本;其中相關(guān)指標(biāo)審查模塊，大數(shù)據(jù)分析模塊，技術(shù)審查模塊和受理審查模塊既能獨立完成自身的審查任務(wù)，又相互關(guān)聯(lián)，實現(xiàn)了多維度，高效率的智慧審查方法。本系統(tǒng)避免了企業(yè)和檢測機構(gòu)報告數(shù)據(jù)偏差、降低合規(guī)風(fēng)險、提升服務(wù)質(zhì)量、提高準(zhǔn)確性和效率，輔助事中事后監(jiān)管過程，強化管理機構(gòu)溯源能力和數(shù)據(jù)支撐決策能力;實現(xiàn)了大數(shù)據(jù)分析比對的創(chuàng)新性應(yīng)用，強化了對企業(yè)申報和檢測機構(gòu)申報的質(zhì)量監(jiān)督，同時電子政務(wù)信息化系統(tǒng)的高效應(yīng)用革新了政府的監(jiān)管制度。

參考文獻：

[1]迪莉婭.基于云計算的電子政務(wù)大數(shù)據(jù)管理研究[J].圖書館理論與實踐，2013（12）.

[2]范靈俊，洪學(xué)海，黃晁等.政府大數(shù)據(jù)治理的挑戰(zhàn)及對策[J].大數(shù)據(jù)，2016，2（3）：27-38.

[3]曾凱.大數(shù)據(jù)治理框架體系研究[J].信息系統(tǒng)工程，2016，（11）：130-131.

[4]楊東華，李寧寧，王宏志，等.基于任務(wù)合并的并行大數(shù)據(jù)清洗過程優(yōu)化[J].計算機學(xué)報，2016（1）：97-108.

[5]楊梽永.2020中國大數(shù)據(jù)產(chǎn)業(yè)發(fā)展新機遇[J].軟件和集成電路，2020（Z1）：90-92+94.

[6]田飛.圖像識別技術(shù)在車輛識別中的應(yīng)用[J].湖北農(nóng)機化，2017（6）：48-48.

[7]萬兵.基于人工智能的圖像識別技術(shù)的研究[J].信息與電腦（理論版），2019（2）：141-142.

[8]宮銘.計算機圖像識別技術(shù)的應(yīng)用及細(xì)節(jié)問題闡述與分析[J].信息與電腦（理論版），2019（1）：7-8.

[9]向麗娜.計算機圖像識別的智能化處理方法解讀[J].電子技術(shù)與軟件工程，2019（3）：137.